本发明公开了一种文本处理方法、计算机可读存储介质及计算机设备。其中，该方法包括：获取多组样本数据，其中，多组样本数据包括样本文本；对样本文本中的第一目标词添加掩码，得到目标文本；从样本文本中查找到第二目标词；对样本文本所包括的分词标注识别权重，其中，第二目标词的识别权重小于除第二目标词之外的其他分词的识别权重；采用目标文本以及样本文本所包括的分词的识别权重进行机器训练，得到目标转换器模型。本发明解决了相关技术中预训练语言模型在文本中知识学习能力差的技术问题。