本发明公开了一种双手互为参考的目标控制方法，该方法包括如下步骤：Ａ、开机；Ｂ、摄像头采集图像序列，并在摄像头采集的图像序列中搜索用户双手；Ｃ、在摄像头采集的图像序列中跟踪双手的运动；Ｄ、控制系统根据双手的运动，来控制目标的移动方向并使其与手的移动方向相同，且其中一只手为漂移手，通过漂移手对目标进行大范围的移动控制，另一只手为精确手，通过精确手对目标进行高精度的移动控制。本发明可以快速、准确的对目标进行定位，并方便的实现对目标的控制。