本公开关于一种推荐系统超参数确定方法、装置、电子设备及存储介质，该方法包括：获取推荐系统中初始化设置的多组待优化超参数；获取基于对系统账户分组所得的探索账号和参考账号；从多组待优化超参数中确定当前组待优化超参数；根据当前组待优化超参数对应的当前参数值生成第一推荐结果，并获取探索账号的第一推荐指标数据；根据预设基线参数生成第二推荐结果，并获取参考账号的第二推荐指标数据；根据第一推荐指标数据和第二推荐指标数据，更新当前参数值，直至符合预设更新结束条件；其中，在每轮参数更新过程中，固定多组待优化超参数中除当前组待优化超参数之外的其他组待优化超参数。本公开提供的技术方案有利于获取到较好的优化结果。