本申请实施例涉及机器学习技术领域，并提供时序异常检测模型评估方法、相关装置及存储介质，可先根据业务类型从多个时序异常检测模型中确定待评估模型，然后对待评估模型进行模型训练和测试，之后将测试输出的检测结果与目标基准数据基于同类型样本合并策略得到目标匹配结果，最后将目标匹配结果基于模型评估策略确定模型评估分值。在充分考虑业务类型再确定适用的时序异常检测模型，能够更动态的选择模型进行时序异常检测，避免所有场景都选定同一个模型。而且采用了同类型样本合并策略对检测结果与目标基准数据的匹配结果进行调整，可将匹配结果中同类型样本合并，有效降低持续同类型样本对评估分值的影响。