本发明涉及一种基于语义匹配的藏式建筑彩绘线稿图上色方法及装置，包括预构建线稿上色模型；所述深度神经网络模型包括预训练的语义分割网络、生成器以及判别器，对所述线稿上色模型进行训练，将待处理线稿图和需要生成的工艺类型输入所述训练好的线稿上色模型中，输出目标上色图像。本发明通过预训练的语义分割网络划彩绘线稿图中的不同部件的语义区域，指导预训练图像的颜色定位到藏式建筑彩绘线稿图的不同位置，能够精准着色到不同区域，同时也提升了渐变色的模拟效果。本申请对语义标签进行赋色并完成颜色扩展，从而达到辅助上色的目的。