本申请公开了一种多模态数据处理方法、装置、设备及存储介质，该方法包括：获取目标物体的不同光学模态信息，制作多模态数据集；构建多模态融合网络模型；多模态融合网络模型包括用于提取各模态特征的模态特征提取网络，用于将各模态特征进行合并的模态特征融合网络，以及用于将合并后的目标特征进行分类任务或回归任务的决策网络；利用多模态数据集训练多模态融合网络模型；获取待测物体的不同光学模态信息，并输入至训练完成的多模态融合网络模型中，输出分类结果或回归结果。这样可以获取物体的各光学模态的丰富特征以及不同光学模态之间的内在关系，高效完成分类或回归任务，进而促进多模态人工智能信息提取和融合的发展，提升竞争力。