本申请公开了应用于Fastformer神经网络的硬件架构及其计算方法。所述硬件架构包括数据存储模块、读取缓冲模块、写入缓冲模块、计算模块以及控制模块；其中控制模块用于控制所述硬件架构执行计算操作，所述计算模块包括线性计算子模块、非线性计算子模块和中间存储子模块；所述线性计算模块包括多个向量计算单元，用于执行包括向量矩阵乘法、矩阵加法、逐元素积的线性运算，所述非线性子模块用于执行归一化指数函数运算。所述硬件架构及其计算方法能够有效提高Fastformer神经网络的运算速度及效率。