本发明公开了一种基于多模态编码本的跨模态人物服装设计生成方法，包括步骤如下：将第一目标衣服图像输入图像编码器，编码得到特征向量图，构造一个第一特征编码本；将特征向量图离散化后，从第一特征编码本中选取不同的离散化编码，组合得到离散化后的编码特征图；将编码特征图输入解码器进行解码，解码得到复原后的第二目标衣服图像，并对第二目标衣服图像进行分块损失计算，并通过反向梯度传播，分步更新图像编码器、解码器；利用标记性对比损失来学习视觉特征和单词嵌入之间的对应关系进行训练，得到富含语义和图像信息的第二特征编码本；通过输入目标图像训练基于注意力机制的神经网络去预测图像中的序列，从第二特征编码本中采样得到序列值，用第二解码器解码序列值输出得到最后的图像。