本申请公开了一种语义效果评估方法以及相关装置，该语义效果评估方法包括：获得待评估对话；其中，待评估对话中包括与用户意图相关的预测文本；将待评估对话输入至多轮对话测试集，利用多轮对话测试集对待评估对话中不同节点的预测文本进行验证；响应于待评估对话中存在至少一个识别错误的错误节点，基于多轮对话测试集对待评估对话中错误节点之后的内容进行重构以获得第一对话；基于第一对话中的所有节点对第一对话进行评估。这样可以采用离线方式对语义效果进行验证，并且在测试过程中遇到语义识别错误的节点时，实时重构错误节点之后的剩余部分，从而能够继续流入到下一节点对下一句对话进行评估，最终完整实现对所有节点语义效果的评估。