方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于使用环境模型来模拟由使用策略神经网络控制的智能体与其交互的环境的状态转换。方法中的一个包括在当前时间点初始化环境状态的内部表示；重复执行以下操作：接收智能体要执行的动作；基于内部表示生成预测的潜在表示，该预测的潜在表示是本将由策略神经网络通过处理表征与内部表示相对应的环境状态的观测而生成的潜在表示的预测；并且通过使用环境模型处理预测的潜在表示和接收到的动作，更新内部表示以模拟由执行接收到的动作的智能体引起的状态转换。