本发明公开了一种基于级联卷积神经网络的第一视角空中手写和空中交互方法，包括下述步骤：S1、获取训练数据；S2、设计一个深度卷积神经网络用于手部检测；S3、设计一个深度卷积神经网络用于手势分类和指尖检测；S4、将一级网络和二级网络级联，通过一级网络输出的前景外接矩形切割出感兴趣区域从而获得包含手部的前景区域，然后将前景区域作为第二级卷积网络的输入进行指尖检测和手势识别；S5、判断手势类别，若为单指手势，则输出其指尖坐标并进行时序平滑和点间插值；S6、利用连续多帧的指尖采样坐标进行文字识别。本发明提供了一种完整的空中手写和空中交互算法，实现准确鲁棒的指尖检测和手势分类从而实现第一视角空中手写和空中交互。