本发明公开了一种基于隐藏变量解耦的人脸图像局部特征迁移网络及方法，首先提出了一个隐藏变量解耦的局部妆容迁移和移除的生成对抗神经网络框架；在网络结构的基础上，创新的提出了一个可以用于训练该网络的局部妆容迁移损失函数，该损失函数包括局部妆容损失，局部不变损失、局部与全局妆容不变损失函数；将未化妆的人脸图片看做化妆人脸图片的特例情况，本方法将妆容迁移和妆容移除作为统一问题进行处理，得到了多种妆容移除效果。