本发明提供了一种基于时间注意力机制和LSTM的人体行为识别方法，包括步骤：1)获取RGB单目视觉传感器的视频数据；2)提取2D骨架关节点数据；3)提取关节点联合结构特征；4)构建LSTM长短期记忆网络；5)在LSTM网络中加入时间注意力机制；6)利用softmax分类器进行人体行为识别。本发明能提高基于视觉的行为识别系统的普适性、实时性以及对复杂动作识别的准确率。