一种基于加密算法的图像抗干扰方法，包括以下步骤：步骤1：构建原始手写体数据集并将图像进行预处理；步骤2：利用基于矩阵变换的图像加密技术，将原始手写体数据集进行加密，构建加密数据集；步骤3：构建生成式对抗网络并利用原始数据集进行训练，该网络包括一个生成器和一个判别器；步骤4：构建七层卷积神经网络并利用原始数据集和加密数据集分别进行训练；步骤5：基于已训练好的卷积神经网络和生成式对抗网络做手写体图像数据的标签预测。本发明采用以生成式对抗网络为代表的深度学习算法，利用一种特定的基于矩阵变换的图像加密技术转换图像空间，识别因深度学习技术而受到干扰的图像。