本发明公开了结合视频通道的智能家居语音控制系统及其方法，系统包括依次连接的手势检测模块、人脸检测模块、识别系统模块、指令判断模块、指令显示与确认模块。识别系统模块包括唇语部分和语音部分，所述唇语部分包括依次连接的人脸跟踪定位模块、唇语视频输入模块、唇语识别模块；所述语音部分包括依次连接的语音输入模块、语音识别模块。其能够通过检测控制手势、识别人脸和唇语信息，对已识别到的语音信息加以补充，从而提高控制指令的准确度，增加利用语音控制智能家居的可行性。本专利具有很强的抗干扰能力，可广泛应用于多种复杂环境模式，尤其适用于克服家庭环境中人多有噪音的情况下。