本发明公开了一种基于卷积神经网络和条件随机场的潜在目标区域检测方法，步骤如下：1)对场景图片进行颜色空间和几何空间的转换，去均值处理后将多张图片一起作为神经网络的输入；2)构建一个卷积神经网络和条件随机场相融合的结构化网络，在卷积网络最后的卷积层上生成三路输出，其中第一路输出为M个候选框的坐标，第二路输出为各候选框的二值标签，第三路输出为各候选框的相似特征，二、三路的输出形成全连接条件随机场的输入节点，通过全局优化得到各候选框的后验概率；3)根据后验概率进行非极大值抑制得到TopK个最终结果。本发明通过多图像输入和条件随机场的优化，可得到定位精度更高鲁棒性更好的目标区域检测结果。