本发明公开了一种基于地形图的无人机影像分类系统及方法，包括图像预处理模块，用于将无人机影像和参考地形图进行预处理后得到研究区待分类正射影像与栅格形式的参考土地利用分布图；数据读取模块，用于读取待分类正射影像与参考土地利用分布图；图像分割模块，用于以待分类正射影像、参考土地利用分布图为输入数据，输出栅格形式图像分割结果；图像信息提取模块，基于图像分割结果，采用K?means聚类算法与SVM监督分类方法完成训练样本的筛选与图斑分类；图像输出模块，用于输出分类结果。本发明具有自动完成图像分割与后处理、样本筛选、定义类别规则、信息提取的功能，为城市规划信息收集阶段土地利用现状相关指标计算提供数据来源。