去二元模型
这是一个非常简单的 bigram 训练和测试程序。 它是为一个小型 NLP 类项目而制作的。
给定训练文本， bigramTrain输出语言模型。 在给定语言模型的情况下， bigramTest给出了输入文件的困惑度。
对于bigramTrain用法：bigramTrain -lm -text为bigramText用法：bigramTest -lm -text
2022-04-12 17:13:44
5KB
1
n-gram概率
使用NLTK库生成的Unigram和Bigram令牌。 计算的Unigram和Bigram概率。 并显示前15个常用词。
2021-12-06 22:37:48
52KB
1
sgns.sogounews.bigram-char
sgns.sogounews.bigram-char
2021-09-21 18:25:56
996.5MB
1
sgns.sogounews.bigram-char.pt
sgns.sogounews.bigram-char.pt
2021-08-30 20:18:24
427.91MB
1
因工作需要，最近在做自然语言处理方面的研究，第一步需要实现中文分词，市面上有许多开源的分词组件，本人使用的是word分词，但这些开源组件中的词库都比较小，因此这段时间主要是在网上爬了各种词库，并通过XX词典校验，挑选在XX词典中收录的（耗费相当多的精力）。此份Bigram
2021-04-21 16:40:53
45.35MB
1