本资源为天津大学社会信息检索的一项大作业,基于爬取的语料库,总体实现了三个功能:TFIDF计算,两句子相似度计算,基于语料库的搜索引擎。 具体任务如下: 1) TFIDF: 给定用自己名字命名的文件夹,请自己爬取一定数量的网页、微博形成语料集合,存入该文件夹;在线状态下,对其中的词语进行TFIDF统计。 2) SIM: 在线状态下,从网页页面输入任意两个句子,求其相似度,包括:内积,余弦及Jaccard三种度量方式;同时,可实现对导入的文件夹语料的tfidf统计。 3)SJet:实现基于向量空间模型(VSM)的搜索引擎。
2020-03-28 03:11:09 1.59MB TFIDF 天津大学 社会信息检索 SIRC
1