主要为大家详细介绍了Python文本特征抽取与向量化算法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-05-01 12:31:00
98KB
1
针对同类文本中提取的关键词形式多样，且在相似性与相关性上具有模糊关系，提出一种对词语进行分层聚类的文本特征提取方法。该方法在考虑文本间相同词贡献文本相似度的前提下，结合词语相似性与相关性作为语义距离，并根据该语义距离的不同，引入分层聚类并赋予不同聚类权值的方法，最终得到以词和簇共同作为特征单元的带有聚类权值的向量空间模型。引入了word2vec训练词向量得到文本相似度，并根据Skip-Gram+Huffman softmax模型的算法特点，运用点互信息公式准确获取词语间的相关度。通过文本的分类实验表明，所提出的方法较目前常用的仅使用相似度单层聚类后再统计的方法，能更有效地提高文本特征提取的准确性。
2021-04-30 17:02:54
1.21MB
1