一种基于并联生成网络的跨模态医学图像合成方法，通过预处理获得跨模态医学图像的共有组别向量特征空间，并获得多组用于训练合成器的训练集；训练合成器，在每组训练集上，合成器在上述的一对训练集上进行跨模态合成训练；若样本对的特征差值在误差允许范围内，则输出合成图；若其特征差值大于误差允许范围，则将两个正则项与合成器原有的损失函数加权结合，指导该合成器继续训练。本发明提高易形变部位医学图像整图合成的质量。