本申请提供了一种基于多模态的文本生成方法、模型训练方法和装置，涉及人工智能技术领域，方法包括：获取混合样本数据集；混合样本数据集包括携带物体标签的第一样本图像、携带文本描述的第二样本图像、携带情感分类标签的第三样本图像和上下文语料；分别基于携带物体标签的第一样本图像、携带文本描述的第二样本图像、携带情感分类标签的第三样本图像和上下文语料，对初始生成模型进行对应的目标物体识别、文本描述生成、情感识别和文本生成的预训练，得到目标预训练模型。基于上述技术方案能够有效提高预训练模型的模型效果，以及后续的模型正式训练效果，进而提高生成文本与输入信息的匹配性。