本发明属于机器学习领域，公开了一种深度神经网络模型公平性测试方法、系统、设备及介质，包括获取若干样本，并查询待测试神经网络模型得到各样本的预测结果，利用已知预测结果的样本进行聚类为样本簇，并分别训练替代模型，在每个样本簇上基于对应的替代模型，生成新的种子样本集合，并对取出的种子施加扰动，进而使其在很大概率上变成违反公平性条件的样本，并基于对当前发现的违反公平性的样本施加多次扰动，来发现更多的违反公平性条件的样本，用来充分验证深度神经网络模型公平性。该方法使用限制少，充分满足了现实应用中模型不可获取，访问次数受限，且只能获得输出的预测结果的实际限制，整体性能高效，很好的实现黑盒公平性测试的任务。