本发明公开了一种基于深度学习的深度图像去噪及增强方法，包括：构建深度图像去噪及增强卷积神经网络，该网络由三层卷积单元组成，分别完成输入图像的特征提取，非线性映射以及图像重建的功能。联合地使用深度和视觉图像作为卷积神经网络的输入，其中，对于视觉图先灰度化为灰度图像，将经过图像预处理来增强边缘信息和取出冗余的信息。对于深度图像，按照一定间隔切分为图像块，采取旋转和像素翻转数据扩充的方法增加有效地数据，并丢弃其中的干扰块和冗余块。基于权重图的损耗训练深度图像增强卷积神经网络，自适应地提升网络的学习效率。本方法可以实时地对带噪深度图像进行黑点填充和去噪，并取得很好的视觉效果和深度值恢复效果。