上传者: mays_changzhi
|
上传时间: 2019-12-21 18:51:56
|
文件大小: 220KB
|
文件类型: doc
最大概率分词算法,带详细源码
基于最大概率的汉语切分
目标:采用最大概率法进行汉语切分。
其中:n-gram用bigram,平滑方法至少用Laplace平滑。
输入:接收一个文本,文本名称为:corpus_for_test.txt
输出:切分结果文本,
其中:切分表示:用一个字节的空格“ ”分隔,如:我们 在 学习 。
每个标点符号都单算一个切分单元。
输出文件名为:学号.txt