本发明实施方式提出一种注意力机制的激活函数加速方法、装置和注意力机制电路。方法包括：输入第一向量和包含多个第二向量的第一向量组；基于注意力机制，确定所述第一向量对所述第一向量组中的每个第二向量的注意力分数；对所述注意力分数施加激活函数，所述激活函数适配于将所述注意力分数中的负值转变为零且正值保持为正数；基于预定的缩放因子，对施加所述激活函数的注意力分数进行缩放；输出所述缩放后的注意力分数。本发明实施方式不再采用Softmax计算注意力机制的激活函数，规避了以自然底数e为底数的、注意力分数为指数的幂运算，提高了注意力机制的运算速度，尤其适用于以硬件方式实现注意力机制。