本发明属于三维计算机视觉技术，为多张RGB图片的物体姿态估计方法，包括步骤：对每张RGB图片分别进行目标检测，得到目标物体的二维边界框；对检测结果进行插值和滤波处理，去除误检的二维边界框，增加漏检的二维边界框；将所有目标物体分别输入基于单目RGB图片的物体姿态估计网络，估计出每张RGB图片中包含的物体类别、每个物体的三维坐标及朝向；计算每两张RGB图片中物体之间的对应关系、相机旋转矩阵；构建物体姿态图并对其进行优化；利用每个物体对应的三维坐标、朝向和三维模型从三维投影到二维，得到新的二维边界框。与现有方法相比，本发明更好地解决了遮挡问题，提高估计的准确率。