本申请公开了一种背景图像的替换方法，包括：从原始图像中获取待替换背景图像；对待替换背景图像和所有备选背景图像中的每一个：确定光照图像并按照若干尺度进行缩放处理；在每种尺度下，利用纹理特征算子处理缩放后的图像得到图像的纹理特征，作为相应尺度下的光照编码特征，并将每个待替换背景图像或备选背景图像采用的各尺度下的光照编码特征组合在一起构成相应图像的光照编码特征；计算待替换背景图像与每一备选背景图像的光照编码特征间的距离作为第一距离；对于所有备选背景图像，基于各自对应的第一距离进行排序后推荐给用户。应用本申请，能够使背景替换后整张图像更自然，改善背景替换效果，尤其适用于实时视频的背景图像替换。