本发明提供一种任意手形人手跟踪方法，其包括：获得初始化的背景图像；获得人手跟踪起始位置，并依此获得跟踪感兴趣区域；获取图像帧间差分运动信息，并根据感兴趣区域位置中的运动信息，获得当前人手的初始位置区域；根据预定公式更新背景图像信息；根据更新后的背景图像信息获得人手的分割图像；以及根据人手的分割图像计算分割后的人手的位置，并依据该位置获得新的感兴趣区域。