本发明公开了一种全频域卷积神经网络的硬件加速器、加速方法和图像分类方法，其中硬件加速器包括主计算机模块和FPGA加速模块，主计算机模块包括主机CPU和DDR，FPGA包括直接片外访问单元、共享片上内存、频域卷积模块和频域ReLU模块；主机CPU用于对数据进行FFT和IFFT变换，并由FPGA使用FFT变换后的权值对FFT变换后的输入数据在全频域进行卷积层和频域ReLU激活层操作，并将最终的操作结果返回给主机CPU进行IFFT变换，作为卷积神经网络的输出结果。本发明使卷积神经网络的卷积层和激活层均可在频域进行计算和FPGA上加速，避免频繁进行傅里叶变换和逆变换操作，提高卷积神经网络的硬件实现效率。