基于存算一体的神经网络推理与训练加速器及其运行方法，利用接口模块接收控制指令和运算数据；通过全局控制模块根据控制指令将接口模块的运算数据分类并存入缓存模块，同时控制其余模块工作；使用存算一体存储器进行神经网络的推理和训练并存储神经网络的运算结果，使用推理控制器执行神经网络推理阶段的前向传播并产生对应指令，训练控制器执行神经网络训练阶段的权值更新并产生对应指令；存储器控制模块将缓存模块的运算数据、推理控制器的指令和训练控制器的指令送入存算一体存储器中并读取存算一体存储器的运算结果。本发明利用存算一体存储器实现神经网络的运算和存储，大大减少了神经网络系统中运算单元的数量，从而减少资源占用和能耗。