本发明公开了一种自然场景图像中中文文本整体识别方法，首先获取训练样本集，对深度卷积网络、编码用多层双向递归网络、解码用多层双向递归网络以及CTC模型依次连接构成的神经网络进行训练；将测试样本输入到训练后的深度卷积网络中，获取到测试样本的各特征序列帧；然后将测试样本的各特征序列帧输入到训练后的编码用多层双向递归网络中，得到测试样本的各编码序列帧；再将测试样本的各编码序列帧输入至训练后的解码用多层双向递归网络中，得到测试样本各帧图像中每个常用汉字为该帧图像中汉字的概率结果；最后进行集束搜索处理，最终识别出测试样本中整体中文文本。本发明方法提高了自然场景图像中中文文本整体识别的准确率。