本发明公开了一种利用对抗补丁攻击神经网络视觉识别系统的方法和装置。其中方法包括：获取原始样本集，将所述原始样本集作为第一深层神经网络视觉识别系统的输入，并采用对抗样本生成方法，获得对抗样本集；选取所述对抗样本集中任意一张图片，构造实体2D或3D对抗补丁；将所述实体2D或3D对抗补丁放置在现实物理环境下的对抗区域的设定位置，将对所述对抗区域拍摄得到的图片输入到第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统，实现对第一或第二深层神经网络视觉识别系统的对抗攻击。本发明提供的方法可应用于物理环境下，通过灵活运用对抗补丁，实现多维对抗攻击，同时攻击实现较为方便、成本较低、对于专业人员的要求较低。