本发明提供了一种基于手势及语音控制的机器人智能抓捕算法，包括步骤（１）手势快速定位；（２）基于自然语言理解的辅助定位定姿；（３）分割定位目标物；（４）路劲规划。本发明使用了基于智能感知的自然人机交互技术，当人手指向目标物并下达包含物体信息的语音抓捕命令时，机器人能在该语音信息的辅助下通过手指指向来快速定位目标物，并且自动规划出一条路径来抓捕物体，接着，在机器人靠近目标物时，还可通过语音命令来精细调整目标物的定位。这样，借助语音与手势的结合使得机器人的控制更加灵活方便并且能工作在更为复杂的环境中。