隐马尔可夫模型词性标注器
概述
一种用于英语,印地语和中文的隐马尔可夫模型词性标记器。 训练数据被标记和标记; 测试数据也会被标记化,标记器会将标记添加到测试数据中。 对看不见的单词加一个平滑处理。
培训和发展数据:
两个文件(一个英文,一个中文),带有单词/标签格式的带标签的训练数据,单词之间用空格分隔,每个句子换行。 两个文件(一个英文,一个中文),带有未标记的开发数据,单词之间用空格分隔,每个句子换行。 两个文件(一个英语,一个中文),带有单词/标签格式的带标签的开发数据,单词之间用空格分隔,每个句子用换行符表示,作为答案键。
程式
由两个程序组成:hmmlearn.py从训练数据中学习隐藏的马尔可夫模型,hmmdecode.py使用该模型标记新数据。
通过以下方式调用学习程序:
python hmmlearn.py / path / to / input
参数是一个包含训练
2021-10-27 16:11:11
2.05MB
Python
1