本发明公开了基于表示学习重构残差分析的图像集分类方法及系统，所述方法利用高斯核函数，将获取的图像集数据的低维特征映射到高维空间中，然后通过构建残差判别分析模型学习一个投影矩阵，使得投影后的图像集特征类内重建残差最小，类间重建残差最大。本发明通过输入来自于视频序列、影集或监控系统的图像集数据；对所述图像集进行数据预处理操作；将获取的图像数据输入到重构残差分析模型进行模型训练，得到最优投影矩阵；基于最优投影矩阵构建新的图像集分类器；将测试图像集输入到分类器中进行分类，得到对应的类别标签。