本发明属于计算机应用领域，具体涉及一种多模态建模分析AD或MCI或CN病情发展趋势的系统及分析方法。该系统包括：临床医学数据和载脂蛋白E数据输入模块与非线性分类器构成的模型A；基因组数据输入模块与非线性分类器构成的模型B；MRI数据与卷积神经网络和循环神经网络构成的模型C；ADNI数据集；所述模型A和所述模型B和所述模型C的预测值接收模块与逻辑回归模型构成的模型D；所述ADNI数据集提供所述临床医学数据和所述载脂蛋白E数据、所述基因组数据、所述MRI数据。本发明在传统方法和深度学习的方法基础上，多模态建模将两者进行结合，加入了更多的先验信息和外部特征，在一定程度上能够加强模型的泛化能力。