本公开公开了多模态数据联合学习模型训练方法及装置，涉及计算机技术领域。具体实现方案为：通过获取多模态数据；其中，多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据；将单模态数据和Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征，对解耦注意力Transformer网络模型进行训练，由此，使解耦注意力变换Transformer网络模型有效利用多种不同模态数据互相增强，从多模态数据中获得更鲁棒和更强大的通用语义表示能力，还能够使用统一的网络结构模型处理不同模态的数据，同时执行不同模态数据的理解和生成任务，具有更精确的场景认知和更综合的逻辑推理能力。