上传者: 38661466
|
上传时间: 2021-12-02 20:45:43
|
文件大小: 21.43MB
|
文件类型: -
hmm的matlab代码HanLP:
Han
Language
Processing
汉语言处理包
HanLP是一系列模型与算法组成的NLP工具包,由大快搜索主导并完全开源,目标是普及自然语言处理在生产环境中的应用。
HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。
HanLP提供下列功能:
中文分词
HMM-Bigram(速度与精度最佳平衡;一百兆内存)
、
由字构词(侧重精度,全世界最大语料库,可识别新词;适合NLP任务)
、
词典分词(侧重速度,每秒数千万字符;省内存)
所有分词器都支持:
词性标注
(速度快)
、(精度高)
命名实体识别
基于HMM角色标注的命名实体识别(速度快)
、、、、
基于线性模型的命名实体识别(精度高)
、
关键词提取
自动摘要
短语提取
多音字、声母、韵母、声调
简繁分歧词(简体、繁体、台湾正体、香港繁体)
语义推荐、拼音推荐、字词推荐
依存句法分析
KMeans、Repeated
Bisection、自动推断聚类数目k
词向量训练、加载、词语相似度计算、语义运算、查询、KMeans聚类
文档语义相似度计算
部分默认模型训练自小型