本发明揭示了一种多模态模型训练以及图像识别方法、装置、电子设备，涉及图像识别领域。该方法包括：获取样本图像以及样本图像对应的文字特征向量；将样本图像输入至初始多模态模型的特征提取网络，生成样本图像对应的图像特征向量。其中特征提取网络用于对样本图像进行编码，并根据待生成特征与已生成特征之间的关联关系生成图像特征向量；将文字特征向量以及图像特征向量输入至初始多模态模型的变换器结构中，输出样本图像对应的候选文字；根据文字特征向量对应的目标文字以及候选文字，更新初始多模态模型的参数，以确定目标多模态模型。采用该方法可以保证生成的图像特征向量的准确性，进而使得图像在生成的过程中局部感受野不会发生破坏。