本发明公开了基于雨线特征重构的多维聚合网络的图像去雨方法与系统。包括：首先，从数据库中获取图像数据集，进行图像预处理，为所获取的图像加上雨线效果；其次，构建包括构建深域特征重构模块和广域特征重构等模块，构建基于雨线特征重构提取的多维聚合网络，输入为有雨图像，得到多维聚合特征，经过图像重建模块，输出为去雨图像；然后，进行网络训练，获到训练好的多维聚合网络；最后，将待处理的有雨图像输入训练好的基于雨线特征重构提取的多维聚合网络，输出去雨图像。本发明提出的多维聚合网络更为高效，其特征模块可学习到雨线复杂多变的形态提取图像中不同尺度的信息，可最大限度地保留图像细节，获得图像视觉效果更好。