本申请提出了一种针对多帧图像光谱字典构建的增量学习方法，涉及遥感图像处理技术领域，包括：获取多帧光谱图像；利用第一帧光谱图像进行字典学习，获得表达第一帧光谱图像的光谱字典；通过活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典；利用第二帧光谱图像的特有信息与野点去除策略求解第二帧光谱图像的特异性光谱字典；使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典；对多帧光谱图像进行迭代处理，获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。本申请在兼顾原有光谱图像字典表达性能的同时，有效提升了新增光谱图像的字典表达精度。