本发明公开了一种多尺度图像语义分割方法，包括下述步骤：获取待分割图像和对应的标签；构建全卷积深度神经网络，所述全卷积深度神经网络包括卷积模块、空洞卷积模块、金字塔池化模块、1×1×depth卷积层、以及反卷积结构，将带洞卷积设置为逐通道的操作，有针对性地利用低、中、高尺度特征；训练全卷积深度神经网络，建立损失函数，通过训练样本图像确定全卷积深度神经网络的参数；将待分割图像输入到训练完成的全卷积深度神经网络，得到语义分割结果。本发明的方法能够在减小计算量和参数数量的同时较好地处理存在复杂细节、空洞和较大目标的图像语义分割问题，能够很好地分割目标边缘的同时，保留类别标签的一致性。