本发明提供了一种基于端到端神经网络的单幅图像去雨方法，包括如下步骤：S1、构建神经网络模型；S2、设计损失函数；S3、利用有雨图像和无雨图像对进行神经网络模型的训练，得到神经网络模型的模型参数；S4、在神经网络模型中导入步骤S3训练好的模型参数，输入有雨图像，在损失函数中加入基于对比感知的正则化约束项，输出无雨图像。本发明提出了一种基于端到端神经网络的单幅图像去雨方法，设计了一种融合图卷积网络和注意力卷积网络的基本模块，用于提取图像的全局和局部特征，并在损失函数中加入了基于对比感知的正则化约束项，取得了较好的去雨效果。