本申请提供了一种命名实体识别模型的测试方法、装置、设备及存储介质；涉及人工智能以及自动化测试，方法包括：获取文本样本集合与待测试的命名实体识别模型；基于至少一种扰动方式对文本样本集合进行扰动处理，得到第一数量的测评文本集合；调用命名实体识别模型对文本样本集合以及第一数量的测评文本集合分别进行识别处理，得到每个测评文本集合对应的第一识别结果以及文本样本集合对应的第二识别结果；基于第一识别结果与第二识别结果相同的概率，确定命名实体识别模型的识别成功率；基于识别成功率确定命名实体识别模型的鲁棒性，识别成功率与鲁棒性正相关。通过本申请，能够提升模型测试的准确性与测试效率。