本发明属于图像去马赛克和图像质量增强领域，具体提供一种模板信息辅助的彩色图像去马赛克方法，用以有效提升图像去马赛克重建质量。本发明通过构建马赛克模板信息辅助的彩色图像去马赛克卷积神经网络，实现高效的图像去马赛克；具体通过引入RGB三通道马赛克模板和RGB三通道插值模板，分别与插值后的全彩色RGB图像做特征融合再卷积在一起，使网络针对真实值和恢复值采用不同的卷积方式，使真实值和噪声被有效区分，从而有效提高图像去马赛克效果；综上所述，本发明引入模板信息之后，能够显著提升图像去马赛克重建质量。