本发明公开了一种全场景亮度自适应的图像融合方法及装置，包括如下步骤：获取任意场景的源图像，对源图像中色彩、纹理丰富的主体区域进行识别，生成图像主体掩模；基于图像主体掩模，根据图像中像素的亮度高低、色彩和纹理的丰富性进行加权融合，得到基于主体区域权重的第一融合图像；选取最优的输入源图像，即最优待融合图像，然后将最优待融合图像与第一融合图像进行迭代融合，满足迭代终止条件则输出最优亮度自适应融合图像。本发明在不断融合过程中充分利用场景的原图信息，对融合图像进行自适应亮度调节与信息的补充，克服了目前因无法自适应各种场景的亮度条件，从而导致图像信息利用不充分，色彩与细节丢失，图像质量差的问题。