使用哈工大的ltp，少不了分词模型，由于ltp_data全量模型包太大，经常遇到下载不下来的问题，可以通过下载cws.model直接解决。该文件需要放置到全英文名的路径下才能用：
import pyltp
from pyltp import Segmentor #导入Segmentor库
math_path = "D:\ltp340\cws.model" #LTP分词模型库
segmentor = Segmentor() #实例化分词模块
segmentor.load(math_path) #加载分词库
words = segmentor.segment("中国是一个自由、和平的国家")
print(' '.join(words).split()) #分割分词后的结果
2022-03-15 14:05:59
174.21MB
1
CwsPosNerEntityRecognition
中英文Cws Pos Ner实体识别工具，使用CNN双向lstm和crf模型，并带有char嵌入。基于字向量的CNN池化双向BiLSTM与CRF模型的网络，可能一体化的完成中文和英文分词，词性标注，实体识别。主要包括原始文本数据，数据转换，训练脚本，预训练模型，可用于序列标注研究。注意：唯一需要实现的逻辑是将用户数据转化为序列模型。分词准确率约为93％，词性标注准确率约为90％，实体标注（在本样本上）约为85％。
提示
中文分词，词性标注，实体识别，在使用上述模型时，本质是就是标注问题！！！如果您第一次使用相关的模型，只需加上self.c
2021-10-18 22:10:58
52.4MB
1