方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于从系统输出生成系统输入。在一个方面中，一种神经网络系统包括存储器，所述存储器存储一组寄存器向量和定义模块的数据，其中，每个模块是把一个或多个第一向量作为输入并且输出第二向量的相应函数。所述系统也包括控制器神经网络，所述控制器神经网络被配置成接收每个时间步的神经网络输入并且处理该神经网络输入以生成神经网络。所述系统还包括子系统，所述子系统被配置成确定所述模块中的每个模块的输入，处理向模块的输入以生成相应的模块输出，确定所述寄存器向量的更新值，并且从所述寄存器向量的更新值生成下一个时间步的神经网络输入。