本发明公开了一种基于肤色提取和卷积神经网络的虚拟交互系统和方法，所述系统包括投影仪、近红外激光、带近红外滤光片的摄像头、普通摄像头和电脑。所述方法包括步骤：打开近红外激光形成近红外激光面，投影仪将交互界面投向近红外激光面；采集用户做出双手动作时刻的画面和作用物触及近红外激光面时的画面；通过图像处理获取作用物触及点位置信息，利用肤色在Ycbcr颜色空间中的分布特性构建高斯模型从做出双手动作时刻的画面中提取肤色区域；通过基于卷积神经网络的人手分类器在潜在区域中实现对双手位置的确定；通过双手距离与作用物初始速度的线性关系获得作用物的初始速度。本发明提高了定位的准确性和识别精度，提高用户真实感官体验。