本公开实施例公开了一种语言表示模型系统、语言表示模型的预训练方法、自然语言处理方法、装置、设备及介质，所述语言表示模型系统包括：以字为分词单位的字粒度语言表示子模型和以词为分词单位的词粒度语言表示子模型；其中，字粒度语言表示子模型用于基于以字为分词单位的语句输出每个分字在所述语句中所表达的语义对应的第一语义向量；词粒度语言表示子模型用于基于以词为分词单位的所述语句输出每个分词在所述语句中所表达的语义对应的第二语义向量。本公开实施例的技术方案，提供了一种混合粒度语言表示模型，为下游自然语言处理任务提供了模型基础，有助于提升下游自然语言处理任务的处理精度，提升了语言表示模型的迁移效果。