本发明公开了一种基于极限学习机的手势识别方法，包括如下步骤：用普通摄像头采集RGB图像，用红外摄像头采集红外图像；采用阈值分割的方法确定红外图像中属于人体的像素点区域，然后结合RGB图像得到人体RGB图像，根据人体RGB图像，通过肤色模型得到图像中的肤色区域，然后利用阀值法判别肤色区域的形状复杂度，得到手势二值图像；提取手势区域的HOG特征和Hu矩作为特征向量；最后将极限学习机运用于手势特征向量的分类中，完成手势识别任务。本发明通过结合HOG特征和Hu矩特征，提高手势识别准确率。同时运用极限学习机有效提手势识别的训练速度识别速度，使手势识别系统具有快速、准确率高、泛化性高等优点。