simhash
高效的文本相似度去重算法实现
simhash是什么
Google发明的的文本去重算法，适合于大批量文档的相似度计算
主要步骤
对文本分词，得到N维特征向量（默认为64维）
为分词设置权重（tf-idf）
为特征向量计算哈希
对所有特征向量加权，累加（目前仅进行非加权累加）
对累加结果，大于零置一，小于零置零
得到文本指纹（fingerprint）
2022-03-16 16:35:17
2.05MB
1
传统的文本分类中相似度的计算，是根据欧氏空间中向量之间夹角的余弦值来表征的，它根据余弦值的大小来
反映文本之间的相互关系。该文则首先建立文本集与码字集之间的1-1对应关系，然后借用编码理论中汉明距离的概
念，由汉明距离的计算公式，得到了一种全新的文本相似度的计算方法，与传统的方法相比较，它具有简便，快速等优点。
2022-02-09 15:53:54
98KB
1
基于Hadoop的文本相似度计算的代码
是用TFIDF 和向量空间模型，IKAnlayze来弄的
有代码，只是用来参考的
只是一个算法的演示，用于保存，以后查看的
2021-12-29 16:06:19
2.02MB
1
word2vec词向量训练及中文文本相似度计算。
word2vec是google在2013年推出的一个NLP工具，它的特点是将所有的词向量化，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之间的联系。虽然源码是开源的，但是谷歌的代码库国内无法访问，因此本文的讲解word2vec原理以Github上的word2vec代码为准。本文关注于word2vec的基础知识。
2021-07-25 22:32:13
2.83MB
1