包括在计算机存储介质上编码的计算机程序的方法、系统和装置，用于对作为序列的网络输入执行机器学习任务以生成网络输出。在一个方面，方法中的一个包括，针对层输入的每个特定序列：针于神经网络中的每个注意力层：维护事段记忆数据；维护压缩记忆数据；接收要由注意力层处理的层输入；以及对(i)该层的压缩记忆数据中的压缩表示、(ii)该层的事段记忆数据中的隐藏状态，以及(iii)特定网络输入中的多个输入位置中的每个输入位置处的相应的隐藏状态应用注意力机制，以生成层输入中的每个输入位置的相应的激活。