本发明公开了一种结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，包括步骤：1)视频图像与红外图像采集；2)视频图像与红外图像坐标配准；3)利用CodeBook算法建立背景模型，提取物件及乘客前景图像；4)利用红外图像对前景图像进行行人检测；5)利用Kalman滤波器对乘客目标进行跟踪；6)利用Fitzgibbon算法对前景图像进行轮廓检测与椭圆拟合；7)剔除6)中的乘客目标，利用Kalman滤波器对物件目标进行跟踪；8)通过分析物件及乘客中心坐标的运动速度和运动方向监控楼层板区域。通过本发明算法可以对手扶电梯楼层板上的物件及乘客行为进行检测与分析，当出现异常时能够及时启动应急方案，将异常情况的潜在危害降至最低。