本发明公开一种基于Ｈｕ矩的手语视频帧序列分类方法，包括以下步骤：步骤１：获取待识别的手语视频；步骤２：对该手语视频进行帧采样，获得帧序列；步骤３：将彩色图像的帧序列转换为二值图像的帧序列；步骤４：将手部与背景分割；步骤５：提取分割后的手部图像的Ｈｕ矩得到手部图像的特征向量；步骤６：计算每一帧与前一帧的特征向量之间的欧式距离，判决，贴数字标签，进行初步分类。步骤７：根据标签进行帧序列进一步分类，去除过渡动作帧，顺序输出分类后的标签序列。本发明计算复杂度较低，且对于手语图像的旋转、缩放和平移具有很好的鲁棒性，可直接应用于手语视频识别系统。