本发明公开了一种减弱语音识别中说话人影响的方法，具体步骤为：(1)获取实验数据,对实验数据按照提供的默认划分方式进行划分；(2)对数据进行基本声学特征提取；(3)对步骤(2)所得的最终特征进行基准语音识别系统训练；(4)对步骤(2)得到的最终特征进行说话人扰动信息提取器的训练；(5)进行带说话人扰动信息提取器的语音识别系统的训练；(6)获取实验结果。本发明无需收集用户样本就能提升基准系统的识别性能，而且本发明对任一用户都能保持一致的识别性能提升。