针对大数据文本排重场景，如：搜索引擎、资讯专题模块聚合，内容原创和内容剽窃的识别，以及重复灌水帖子、评论相关的内容治理等。本发明一个技术方案是提供了一种能实现相似度计算的SimBlock算法(相似分块矩阵算法)，弥补了传统相似度算法“字符交集”和“字符串向量化余弦”丢失有序信息的缺陷，补充局域有序信息，提高相似度计算质量：给出的相似度打分对两个字符串的长度不敏感，还能判断逻辑包含关系，相似子字符串的位置和一一对应关系。本发明的另一个技术方案是提供了一种上述算法适用的分布式计算技术架构，将高并发计算压力分解到高并行度的算法微服务集群中，将高并发读写压力也分解到高速缓存集群中，使得多进程Source/Trans./Sink单体保持轻量级。