本发明提出一种基于二阶VLAD稀疏自适应深度网络的图像分类方法，属于图像分类和深度学习技术领域。本发明首先从多个卷积层提取卷积特征，然后在每个卷积特征中获得相应的SASO?VLAD编码，最后汇总所有的SASO?VLAD编码，构建最终的多路径特征编码网络。该方法在现有端到端的VLAD编码模型基础上，使用稀疏自适应软分配编码的新编码方法作为权重系数，用一阶和二阶VLAD编码的级联作为最终的特征表示。对比NetVLAD模型，本发明的稀疏策略和二阶表示有效提高图像分类的有效性，多路径同时使用低、中、高等级特征来训练多个特征编码网络，比单级特征编码网络对图像特征的表示能力更强。