本发明公开了一种基于视觉词典的深度图生成方法。该方法首先训练视觉词典，然后以视觉词典为工具，生成２Ｄ图像的深度图。视觉词典训练包括：１、采用图像?深度图对作为目标图像库；２、对目标图像库的深度图进行随机块采样，得到深度图块样本集；３、对样本集进行ｋ均值聚类；４、对每一类，通过交叉验证训练，得到具有相似的深度图结构视觉单词；５、视觉词典由各个视觉单词组成。深度图生成步骤包括：１、生成初始深度图；２、基于视觉词典对２Ｄ图像进行检测，更新初始深度图；３、深度图平滑。本发明所得的深度图，可用于２Ｄ到３Ｄ的转换等，对比已有的深度图生成方法，本发明具有适用场景广阔，转换效果较符合人们观景感受等优点。