新词识别问题的解决方案主要有两种，一种是基于概率统计的，另一种是基于规则的。本文在两者的基础上，实现统计与规则相结合的新词识别检测问题。首先从熟语料中构建N元组候选词库，然后对候选词库分别进行规则过滤，互信息过滤以及位置成词率过滤，再经过N元组重叠标记得到各自不同的新词表。最后综合三种方法，实现统计与规则相结合的新词识别算法，实验结果表明新词识别准确率达到88%。
2021-10-24 16:44:03
924B
1
同义词词林 可用于机器翻译 消除句子歧义 信息检索 数据时txt的 整理的很规则 很好用啊 同义词词林 可用于机器翻译 消除句子歧义 信息检索 数据时txt的 整理的很规则 很好用啊
2021-10-24 01:59:46
368KB
1
txt格式，一组同义词占一行，多个之间用英文逗号分隔，前后都有逗号。形如：“,后继有人 ,后来居上 ,后来者居上 ,后起之秀 ,略胜一筹 ,棋高一着 ,青出于蓝,”。
注意是9836组，不是9836条，已经归类绝无重复。去除了所有重复的词汇及单字，有时间再处理一下把可能产生歧义的词汇也去掉就好了，如果有朋友还有其他词汇但不会整理归类可以联系我
2021-10-23 11:05:27
232KB
1