本发明公开了一种基于MPP架构数据库的数据去重方法，该方法在根据统计参数确定原始数据中待去重的目标数据后，将多指标去重操作转化为多个单一指标去重操作，对目标数据的各去重指标进行逐一去重处理，再按照去重维度聚合各去重子项，本方法中的单一指标逐一去重相比传统的多指标同时去重工作量显著缩减，能有效的解决直接count distinct时计算效率低下、甚至无法运行的问题，同时资源占用也较小，且随着去重指标个数的增加，该方法对于效率的提升效果更为显著，可以实现多指标的快速去重。本发明还公开了一种基于MPP架构数据库的数据去重装置、设备及可读存储介质，具有相应的技术效果。