本申请公开了一种流处理系统的性能测试方法，包括：根据获取到的不同测试场景和不同变量的多个配置文件和对应的消息队列进行随机负载发送处理，以便流处理系统加载到不同的随机负载数据；根据各个配置文件控制流处理系统分别对对应的随机负载数据进行流处理，得到对应的流处理结果；对所有流处理结果进行统计分析处理，得到测试结果。通过流处理系统加载到不同的随机负载数据，然后再根据配置文件进行流处理，得到流处理结果，最后统计分析得到测试结果，避免具体业务读测试过程产生影响，实现统一化测试，提高测试结果准确性，更具参考价值。本申请还公开了一种流处理系统的性能测试装置、服务器以及计算机可读存储介质，具有以上有益效果。