目前，已有许多高效的字符串相似性连接算法被提出，但是这些算法在过滤的过程中利用的往往是字符串本身的局部信息，而忽略了字符串集合的整体信息，故性能没有得到充分的提高。为此，提出了一种基于划分的算法Part-Join，它从频率向量、字母表、频率分布三方面对数据集进行子集划分，并给出子集间的过滤策略用于排除不相似的字符串对。扩展实验表明，Part-Join比已有算法Pass-Join效率提高了10%~15%。
2021-10-27 10:35:55
557KB
1