利用java代码实现向量空间模型,通过词频,文档频率计算相似度的值。
编写一个合理的、可理解的、全文搜索引擎需要多少行代码?此存储库中的代码可以简单快速地概述向量空间模型 (tf-idf) 内存索引; 在线计算的规范和 IDF; 查询词之间的默认 OR 运算符; 从单个文件中为每行索引一个文档。 从文件中读取停用词
2022-06-05 19:06:19 209KB scala 综合资源 开发语言 后端
项目1 一个使用倒排索引和向量空间模型的简单信息检索项目。 1)源代码只是一个python文件ir.py。 2)代码是用Python 2.7编写的。 3)代码中的query_file和base_dir变量要分别设置为query文件和blogs目录。 4)查询文件格式为:企鹅851 March每行一个查询,不带引号。 5)每个实现的IR模型都有一个后缀(名称)。 TFIDF:'stem' LogtfIDF:'stem-logtf' TFIDF-Positional:'stem-positional' BM25:'stem-bm25' 语言模型:'stem-lm' 拉普拉斯平滑语言模型:'stem-lmls' 为了对两个模型的两个分数进行线性求和,可以将 main(methods) 中的方法设置为我们打算在最终结果中使用的后缀列表。 例如 main(methods=['stem'
2022-04-07 13:36:29 117KB Python
1
self complement of Sentence Similarity compute based on cilin, hownet, simhash, wordvector,vsm models,基于同义词词林,知网,指纹,字词向量,向量空间模型的句子相似度计算。
2022-03-29 17:13:03 7.51MB Python开发-自然语言处理
1
通过对信息过滤一般过程的分析,提出了一种基于内容的网络异常信息过滤方法。在源信息采集方面,建立了网络信息捕获构架,基于协议分析实现网络数据的提取;在信息内容处理方面,采用设立切分标志进行文本信息的预处理,在此基础上,基于向量空间模型实现文档的结构化表示;在信息匹配算法方面,通过计算文档向量之间的相似度,实现网络信息的有效过滤。
1
用户兴趣模型是个性化推荐技术的基础与核心,针对现有用户兴趣模型在模型建立阶段用户兴趣评价的不足,提出了一种基于混合行为评价兴趣度值的方法。突出了用户阅读时间的特殊性,在用户阅读时间异常的情况下利用其他浏览行为来量化用户兴趣度,并结合用户的浏览内容提出了用户兴趣模型的表示和更新机制,从而建立用户兴趣模型。实验验证了兴趣度度量方法的有效性,将测试结果与K-means聚类模型进行比较,证明该模型的推荐准确度有明显提高。
1
向量空间模型(VSM)的JAVA实现,从文档表示到相似度计算,使用两种相似度计算方式:cos和tf-idf算法
2021-11-03 17:55:50 1.87MB 向量空间模型 VSM JAVA 信息检索vsm
1
简单向量空间模型可用于文档相似度的计算,也可以用于检索信息,配有详细的注释
2021-05-17 14:37:03 4KB VSM
1
信息检索系统 利用倒排索引和向量空间模型实现的信息检索系统。 完成工作: 带位置信息的倒排索引 转化空间模型 TOP K查询 BOOL查询 初步查询 拼写矫正 名词查询 拼写矫正(以下) 运行 环境要求:python3 在初次运行程序前请下载词干还原依赖的语料库 在SearchSystem/main.py中已经注释掉下载语料库的命令 nltk . download ( "wordnet" ) nltk . download ( "averaged_perceptron_tagger" ) nltk . download ( "punkt" ) nltk . download ( "maxnet_treebank_pos_tagger" ) 取消注释后运行一次即可,语料库下载完成立即正常运行 Windows下如果嫌弃弃语料库下载比较慢,可以直接转到目录下的nltk_data文件夹nltk_d
2021-04-30 11:39:21 65.66MB 系统开源
1
主要介绍了用Python给文本创立向量空间模型的教程,比如文中举例将文本中的词频转为量化的矩阵,需要的朋友可以参考下
2021-03-28 09:06:05 87KB Python
1