本发明公开了一种基于深度学习的遥感图像语义分割方法中，步骤为：为每种物类目标分配RGB值和灰度值，获取原始遥感图像，选取出物类目标并上色、灰度化以及赋予灰度值处理，得到标签图像，对原始遥感图像进行数据增强以及边缘提取，得到边缘提取后的图像；将原始遥感图像和边缘提取后的图像训练样本对完全卷积神经网络进行训练，得到最佳语义分割网络模型，将测试遥感图像输入最佳语义分割网络模型中，获取到语义分割结果图像；为语义分割结果图像进行上色处理，得到最终语义分割结果图像，根据最终语义分割结果图像中的RGB值获取物类目标。本发明方法具有遥感图像语义分割准确率高以及适用性广的优点。