本发明公开了一种手势控制系统，包括两台带时钟同步的手势捕捉传感器，其中一台用于捕获操作者的手势的前后运动；另一台用于捕获操作者的手势的前后运动与左右运动；一台处理器，用于分析手势捕捉传感器捕捉到的图像序列，得出图像序列每一帧图像中手势的位置信息和当前手势运动的速度信息，根据所获得的操作信息，将需投影的界面分为左投影区和右投影区；两台三维立体投影仪，相对置于手势捕捉传感器的左前方及右前方；分别用于接收左投影区数据和右投影区数据，并进行投影。本发明还公开了上述系统的控制方法。与现有技术相比，本发明操作更加简便，手势简单自然，误识率低。