把需要分词去停用词的文件放入allData文件夹下的originalData文件夹，依次运行1.cutWord.py和2removeStopWord.py之后，allData文件夹下的afterRemoveStopWordData文件夹就是最终分词且去停用词之后的文件
2022-02-14 16:04:23
9.28MB
1
word2vec是一个将单词转换成向量形式的工具。可以把对文本内容的处理简化为向量空间中的向量运算,计算出向量空间上的相似度,来表示文本语义上的相似度。
2022-02-12 22:49:17
1.97MB
1
对于NLP中，需要要一些停用字典来对一些没有用的词删除，这里列了一些停用词。
包含：
1、哈工大停用词表, 百度停用词表, 四川大学机器智能实验室停用词库，而且将其进行了合并去重, 共计2311个停用词；
2、3500个常用汉字, 5000+生僻字集合；
3、一般常用停用此表1800多个。
2022-02-11 18:32:36
47KB
1