用于训练动作器神经网络的方法、系统、和装置，包括编码在计算机存储介质上的计算机程序，所述动作器神经网络用于选择待由与环境交互的代理执行的动作。所述方法中的一个方法包括：获得小批经验元组；以及更新所述动作器神经网络的参数的当前值，包括：对于所述小批中的每个经验元组：使用评价器神经网络来处理所述经验元组中的所述训练观测值和所述训练动作以确定所述经验元组的神经网络输出，并且确定所述经验元组的目标神经网络输出；使用在所述目标神经网络输出与所述神经网络输出之间的误差来更新所述评价器神经网络的参数的当前值；以及使用所述评价器神经网络来更新所述动作器神经网络的参数的当前值。