本发明公开了一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，包括：利用当前帧图像信息与前一帧图像信息做块匹配，得到两帧的运动光流；由跟踪过程得到的目标的位置、大小信息获得每一帧的初始检测区域；将初始检测区域做简单的阈值肤色分割得到区域分割二值图；由初始检测区域设置掌心位置；分别统计以掌心为中心点所有像素的内聚和扩散的加权和；判断手是否处于握拳和张开状态，修正对前跟踪算法得到的跟踪框进行修正。本发明方法不受限于任何跟踪算法，灵活地运用到手型变化过程中，及时检测到因握拳导致的手型变化趋势，直接对跟踪结果进行修正，使跟踪结果更加精确。