本发明公开了一种任意手形的手势跟踪方法，该方法包括如下步骤：（１）初始化背景模型；（２）初始化手的位置区域；（３）根据手的位置区域得到目标区域的统计直方图；（４）根据统计直方图对当前时刻读入的图像做直方图反向投影，得到肤色概率图；（５）将当前帧分别与前一帧、背景模型做差，得到差分图像；（６）根据差分图像将各像素点标记为不同类型，得到前景概率图；（７）由前景概率图与肤色概率图得到运动肤色概率图；（８）对运动肤色概率图进行聚类，定位人手的精确位置；（９）根据跟踪结果对背景模型进行更新。本发明中的方法能简单有效地进行人手跟踪，对使用者的手形要求不高，且运算复杂度底，更富有人性化。