本发明公开了一种基于机器视觉的手势鼠标识别方法，包括以下步骤：（１）建立手势的活动形状模型；（２）对手势进行离线训练，得到手势特征分类器；（３）采集图像；（４）提取图像的局部二进制模式特征，通过步骤（２）得到的手势特征分类器在图像中搜索目标手势；当搜索到目标手势时，进行步骤（５）；（５）指尖定位；（６）鼠标映射。本发明是一种自然、直观的人机交互方式，用户不需要携带其他辅助设备，通过自然的手部及手指运动完成鼠标操作，受光照和背景影响小，且具有在多用户操作计算机时，能自由切换操作权的优点。