本发明公开了一种基于深度学习目标检测的语音识别方法，包括步骤：1)对输入语音进行录制存储；2)将语音转化为语谱图，通过短时傅里叶变换将原始语音转化为时频分析图；3)对语谱图的局部有效区域进行标注；4)将有标注的语谱图作为输入，使用目标检测网络对其进行有监督的训练；5)将检测网络的输出结果对应到相应的文字，作为最终的输出。本发明将语音识别技术与目标检测技术相结合，针对有效的时频交叉区域进行识别，克服了嘈杂环境中高频噪音的影响，改善了现有语音识别技术在噪音环境下的不足。