本发明涉及一种问答效果评估方法及系统的技术方案，包括：根据答复的评价结果，对所述答复的质量进行标注，生成问答数据的标签；将所述问答数据和所述问答数据的标签输入至改进的预训练语言表征模型进行训练；其中，通过所述改进的预训练语言表征模型的标记嵌入层、分割层和位置编码层得到所述问答数据对应的第一词向量；通过所述改进的预训练语言表征模型的自注意力机制提取所述第一词向量的文本语义特征，输入到所述改进的预训练语言表征模型的分类层得到答复质量评估结果。通过上述方案提高了问答效果评估的准确性。