本发明公开了一种联合量化与剪枝搜索的模型压缩方法及其系统，涉及深度学习领域，针对现有技术中模型压缩精度保持的问题提出本方案。在设定量化和剪枝搜索的对象及范围后，对卷积神经网络模型进行搜索训练，优化卷积神经网络模型的权重和结构参数，最后对优化后的模型进行重新训练。其优点在于，量化和剪枝同时联合工作能够对模型进行有效压缩，提高压缩后模型的精确度，并兼具剪枝和量化两种压缩手段的优点。