本发明公开了一种基于卷积神经网络和热图的第一视角指尖检测方法，包括步骤：采集手势图片，标注出手势的外接矩形的位置和指尖的坐标，通过外接矩形对原有手势图片进行剪切并对指尖位置进行更新，生成指尖热图；设计一个手势检测卷积神经网络，提取手势特征，用剪切前的图片和外接矩形训练网络使其收敛；设计一个指尖热图回归卷积神经网络，提取指尖特征，用剪切处理后的图片和热图训练网络使其收敛；将输入的第一视角视频分割成帧，利用训练完成的手势检测卷积神经网络模型得到手势的外接矩形，剪切出手势部分，输入指尖热图回归卷积神经网络模型中预测指尖的热图，根据热图得到指尖坐标。本发明能在复杂背景和不同光照下准确检测出指尖地位置。