本申请涉及一种信息推荐模型训练方法、装置、计算机设备和存储介质。方法包括：从离线数据集中获取与针对信息流数据的动作记录所对应的状态转移对；状态转移对为与动作记录对应的状态变化信息；通过多个价值推理模型，分别对状态转移对进行价值预测，得到各价值推理模型各自输出的预测价值；通过动作推理模型对状态转移对进行动作预测，得到在与状态转移对相对应的预测动作；基于预测价值、预测动作以及状态转移对所对应动作，对各价值推理模型和动作推理模型进行模型调整，直至达到训练停止条件，基于停止训练所得到的动作推理模型确定信息推荐模型；将待推荐信息流数据输入信息推荐模型进行信息推荐。采用本方法能够提升模型的训练效率。