本申请公开一种跨语言的语言模型预训练方法和装置，基于迁移学习的跨语言命名实体识别方法，基于迁移学习的跨语言情感分析方法，基于迁移学习的跨语言语句关系推断方法，计算机存储介质和电子设备，其中预训练方法包括：将文本信息输入到预训练语言模型中，获取文本信息中词汇的第一语境词向量；在构建的词义聚类集合中，选择与第一语境词向量相匹配的词义向量；在所述预训练语言模型输出的语境词向量集合中，确定与词义向量对应的第二语境词向量；根据第二语境词向量和所述第一语境词向量，确定所述词汇的词义向量概率。从而实现从词义级别粒度上对语境词向量进行对齐。