本发明提供一种全色多光谱影像融合方法和装置，其中，方法包括：获取待融合的多光谱图像和全色图像；对所述多光谱图像和所述全色图像进行预处理，得到预处理后的多光谱图像和预处理后的全色图像；将所述预处理后的多光谱图像输入自适应滤波器网络模型中，得到模拟全色图像；根据所述模拟全色图像、所述预处理后的全色图像和所述预处理后的多光谱图像确定融合图像。本发明通过采用的自适应滤波网络可根据输入图像内容动态生成滤波器，增强了滤波器对内容的适应性，能更好的实现拟合，融合结果在目视上取得了良好的效果，不存在明显的光谱失真和空间扭曲等现象，在定量评价指标上也有所提升。