本说明书实施例提供预训练语言模型的训练方法以及装置，其中预训练语言模型的训练方法包括：对样本文本中第一设定数值个字符进行掩码处理，获得掩码训练样本，然后基于掩码训练样本中非掩码字符的位置处的权重确定各个字符的增强语义向量，之后根据各个字符的增强语义向量，确定预训练语言模型的损失值，对预训练语言模型进行训练，从而完成语言模型的预训练过程。如此，计算掩码训练样本的各个字符的增强语义向量时，可以忽略被掩码字符位置处的权重，提高了预训练语言模型的收敛速度，避免了过度训练，并且提高了模型迁移能力，避免了被掩码字符较多时与下游任务不匹配的问题，从而提高下游任务的处理准确率。