本发明公开了一种曲面表面缺陷自动检测方法及其装置，方法包括：（１）训练阶段：采集样本图像，构建训练集，对训练集中的图像进行人工缺陷识别，标注出所有缺陷出现的区域；针对训练集中的每一幅图像执行缺陷预定位步骤，得到所有缺陷可能出现的区域Ｒ；将Ｒ与人工标注出的所有缺陷出现的区域进行比对，根据二者的重合度划分负样本和正样本；根据正样本和负样本进行深度神经网络模型的离线训练，输出为缺陷区域的类别与具体坐标；（２）在线检测阶段：采集当前待检测曲面表面图像，执行缺陷预定位步骤，得到集合Ｒ，将集合Ｒ输入网络模型，得到缺陷区域的类别与具体坐标。本发明具有适应性高、实时性高、识别准确率高的优点。