本发明公开了一种基于深度学习的遥感图像内新增建筑识别方法，包括下述步骤：获取样本图像：两时间段遥感图像和新增建筑背景图像；将具有原始尺寸的样本图像分别进行裁剪切割，得到小尺寸图像；对所有小尺寸图像进行数据增强处理；再将增强后的小尺寸两时间段遥感图像进行中心化及全局对比归一化，完成后再一一对应相减，得到遥感差异图；将遥感差异图和小尺寸新增建筑背景图像输入修改后的两种深度神经网络进行网络参数训练；再将待测遥感图像输入训练所得的两种深度神经网络，在网络的softmax输出层处进行模型融合，再对输出的初步结果进行修饰处理，得到最终的新增建筑识别图像。本发明方法具有遥感图像内新增建筑识别准确率高以及适用性广的优点。