公开用于训练和应用机器学习模型来控制机器人装配的技术。在一些实施方案中，力和扭矩测量值被输入到机器学习模型中，机器学习模型包括引入递归的记忆层。机器学习模型在机器人不可知环境中经由强化学习进行训练，以在给定力和扭矩测量值的情况下生成用于实现装配任务的动作。在训练期间，将经验收集为情节内的过渡，将过渡分组为序列，并且每个情节的最后两个序列具有可变重叠。所收集的过渡存储在经优先级化的序列重放缓冲器中，学习者从经优先级化的序列重放缓冲器中基于过渡和序列优先级对要学习的序列进行采样。一旦经训练，机器学习模型就可被部署来基于由各种类型的机器人的传感器获取的力和扭矩测量值来控制这些机器人以执行装配任务。