本发明公开了一种基于深度相机的视觉里程计的设计方法，包括以下步骤：通过深度相机采集环境中的彩色和深度图像信息；提取初始关键帧以及其余图像帧中的特征点；用光流法跟踪特征点在当前帧的位置，找到特征点对；根据实际特征点的数目和前后两帧之间的特征点重叠区域大小选择使用稀疏直接法或者特征点法求得两帧之间的相对位姿；利用深度图像的深度信息，结合两帧之间的相对位姿求取关键帧上特征点在世界坐标系下的3d点坐标，并在另一线程对关键帧进行点云拼接，构建地图。本发明方法结合了稀疏直接法和特征点法，能够提高视觉里程计的实时性和鲁棒性。