本发明涉及一种基于降质分类和定向数据增广的鲁棒人脸超分辨处理方法。包括：构建包含高分辨率人脸图像库及其对应的三种降质的低分辨率人脸图像库的训练库；基于训练库，在新的特征空间中构建用于降质类别判定的特征库，对降质特征进行提取并聚类；输入待处理低分辨率图像投影至分类特征空间中，根据与各个聚类中心点的距离，判定其所属降质种类；根据输入待处理低分辨率图像所属的降质目标类别，自适应的构建高低分辨率增广库；而后，求得低分辨率增广库的表达系数，并根据表达系数和对应高分辨率增广库的块，求得重建高分辨率图像块，并拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，特别适用于低质量监控环境下人脸图像恢复。