本发明公开了一种基于LTC?DNN的视觉惯导组合导航系统与自学习方法，该视觉惯导组合导航系统包含深度学习网络模型，其中，深度学习网络模型由视觉特征提取模块、惯导特征提取模块、位姿回归模块构成；视觉特征提取模块用于提取相邻两帧RGB图片的视觉特征；惯导特征提取模块用于提取惯导数据的惯导特征；位姿回归模块包括注意力机制融合子模块、液态时间常量递归神经网络(LTC?RNN)、全连接回归子模块，用于预测相对位移、相对旋转。通过本发明公开的自学习方法对视觉惯导组合导航系统进行训练，与同类型算法相比降低对真实标签的依赖性；且深度学习网络模型相对位移和相对位姿估计精度高、对数据损坏的鲁棒性好。