本发明涉及一种基于分解因子的图像局部风格迁移方法，该方法包括以下步骤：1)获取迁移任务；2)初始化风格迁移网络并利用带标签的数据样本进行训练；3)基于训练后的所述风格迁移网络对所述迁移任务进行处理，获得合成图像；所述风格迁移网络包括两个自动编码器和四个标签分类器，每个自动编码器包括一个编码器和两个解码器，所述标签分类器设置于编码器和解码器之间，所述编码器实现指定因子和公共因子的分解。与现有技术相比，本发明能够较好地解耦因子，具有重构效果显著等优点。