本发明提供了一种模型蒸馏方法、系统以及文本检索方法，其模型蒸馏方法包括如下步骤：S1.构建一个学生模型以及多个教师预训练模型，采用对比学习方法对多个教师预训练模型以及学生模型进行训练，在对比学习训练中，获取平均教师模型相似度矩阵以及学生模型相似度矩阵；S2.获取预蒸馏学生模型的第一输出以及多个教师模型的平均输出；S3.获取集成蒸馏损失函数，并根据集成蒸馏损失函数训练所述预蒸馏学生模型，并得到蒸馏学生模型；本发明通过对比学习训练得到平均教师模型相似度矩阵与学生模型相似度矩阵，将其加入集成蒸馏损失函数中，通过集成蒸馏损失函数训练预蒸馏学生模型，使得学生模型能够更好的拟合教师模型的检索能力。