用于控制代理的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。一种方法包括：根据连续空间上的概率分布从可能索引变量的连续空间采样一个或多个索引变量；对于每个索引变量：根据超模型的多个参数值使用超模型处理索引变量，以生成指定环境模型的多个参数值的输出，并且根据由超模型输出为索引变量指定的环境模型的多个参数值，使用环境模型生成动作选择输出；以及使用针对一个或多个索引变量的一个或多个动作选择输出来选择要由代理在该时间步骤处执行的动作。