本发明提出了一种基于特征协方差矩阵的动态手势识别方法，为二维与三维动态手势识别提供一个统一的框架；对二维动态手势识别而言，只需对连续三帧中手部区域的FAST角点进行精确地跟踪，而不需要对整个人手进行精确地跟踪，这样大大降低了跟踪的要求，实现起来更加容易；对三维动态手势识别而言，使用RealSenseF200自带的SDK实时地获取人手的三维骨架信息，并获取每帧中手部关节点的三维坐标，能够对手势进行鲁棒地跟踪；对数协方差矩阵描述子为整个手势序列提供了一个紧凑的表示，大大提高了SVM模型的训练效率和整个手势识别系统的效率。