本发明公开了一种基于多模态深度玻尔兹曼机的人体行为识别方法及系统，该方法包括步骤：1)获取视觉和可穿戴传感器的数据；2)建立视觉数据和可穿戴传感器多模态融合模型；3)利用深度神经网络进行异构迁移学习实现对缺失数据的重构；4)利用softmax回归模型分类器进行分类；5)根据用户个体特性对公共样本数据产生的深度网络模型进行自适应调整。本发明能提高在复杂场景及数据缺失情况下人体行为识别的准确率。