新词识别问题的解决方案主要有两种，一种是基于概率统计的，另一种是基于规则的。本文在两者的基础上，实现统计与规则相结合的新词识别检测问题。首先从熟语料中构建N元组候选词库，然后对候选词库分别进行规则过滤，互信息过滤以及位置成词率过滤，再经过N元组重叠标记得到各自不同的新词表。最后综合三种方法，实现统计与规则相结合的新词识别算法，实验结果表明新词识别准确率达到88%。
2021-10-24 16:44:03
924B
1
PKU语料库，免费供广大自然语音爱好者你能方便下载人民日报提供的汉语语料库。方便学习。训练集pku_training.utf8,用来训练模型的参数，测试集 pku_test.utf8，用来测验模型的最终准确率。
2021-10-20 22:17:25
50.2MB
1