本发明公开了一种基于多模态识别的自学习情感交互方法，步骤如下：非接触式通道分别采集语音、人脸和手势信号；对信号进行特征提取，得到信号初步特征；特征输入到双向LSTM层，得到单模态私有信息和多模态交互信息，根据这些信息得到融合特征；基于分类学习算法，结合多模态融合特征和历史情绪状态曲线预测用户情绪，选择交互模式；在交互模式下，根据对话记忆网络给出交互应答；最后，根据交互效果对情绪状态曲线和对话记忆网络进行反馈和优化。本发明允许操作者通过非接触式人机交互接口多通道输入信息，对多模态的融合特征综合考虑，结合情绪历史状态和对话记忆网络，完成交互任务。