chop Python 中文分词工具包 欢迎 GitHub: Pypi: 依赖 Python3 使用说明 代码对 Python 3 兼容 全自动安装： easy_install chop 或者 pip install chop / pip3 install chop 接口 from chop.hmm import Tokenizer as HMMTokenizer from chop.mmseg import Tokenizer as MMSEGTokenizer sentence = "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作。" def main(): HT = HMMTokenizer() MT = MMSEGTokenizer() print('HMM Tokenizer:', ' '.join(HT.cut(senten

bert-base-chinese bert中文预训练基线模型

SpaCy官方中文模型已经上线（ ），本项目『推动SpaCy中文模型开发』的任务已经完成，本项目将进入维护状态，后续更新将只进行bug修复，感谢各位用户长期的关注和支持。 SpaCy中文模型 为SpaCy提供的中文数据模型。模型目前还处于beta公开测试的状态。 在线演示 基于Jupyter notebook的在线演示在 。 特性 部分王小明在北京的清华大学读书这个Doc对象的属性信息： NER（新！ ） 部分王小明在北京的清华大学读书这个Doc对象的NER信息： 开始使用 SpaCy（版本> 2）的基础知识。 系统要求 Python 3（也许支持python2，但未通过良好测试） 安装 下载模型 从页面下载模型（ New！为中国地区的用户提供了加速下载的链接）。假设所下载的模型称为zh_core_web_sm-2.xxtar.gz 。 安装模型 pip install zh_core_web_sm-2.x.x.tar.gz 为了方便后续在Rasa NLU等框架中使用，需要再为这个模型建立一个链接，通过执行以下命令： spacy link zh_core_web_sm zh 运行完

AI对联写手 欢迎！ 这是使用AI编写对联的有趣项目。 请查看我们的网站！ 介绍 什么是对联 对联是一首两行诗，具有严格的语义和恐惧规则 有关更多详细信息，请参见 （英语）页面。 这个项目是做什么用的 给定第一行（上联），模型将预测第二行（下联） 我们是住在加利福尼亚的一对中国夫妇，我们喜欢中国传统诗歌！ 该项目在以下方面得到了类似的改进（请参见参考资料，以了解他们的出色工作）： 据我们所知，这是TensorFlow 2中首次编写的此类文件 该模型相对于参考模型在（i）情感（意境）匹配方面进行了改进。 （ii）重复字符处理（请参见下面的“模型”部分） 例子 输入值 输出量 欲把心事付瑶琴 且将笔墨书诗画 半衾幽梦香初散 一曲清音韵未央 应是飞鸿踏泥雪 何如落雁归故乡 云破月来花弄影 雨停风送柳含烟 别后相思空一水 愁中寂寞又几回 书中自有黄金屋 笔下常留白玉簪 花谢花飞花满天 鸟啼

ChineseNLP：中文NLP各领域的数据集，SOTA结果

LTP 4 LTP（Language Technology Platform） 提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。 If you use any source codes included in this toolkit in your work, please kindly cite the following paper. The bibtex are listed below: @article{che2020n, title={N-LTP: A Open-source Neural Chinese Language Technology Platform with Pretrained Models}, author={Che, Wanxiang and Feng, Yunlong and Qin, Li

pyltp pyltp 是 的 Python 封装。 在使用 pyltp 之前，您需要简要了解 能否帮助您解决问题。 目前基于Pytorch的LTP4 已经发布，而PyLTP将会只有非常有限的维护，请大家移步使用[LTP 4]() 依赖支持情况 Python 2.7, 3.x, and PyPy (PyPy2.7 >= 5.7) 一个简单的例子 下面是一个使用 pyltp 进行分词的例子 # -*- coding: utf-8 -*- from pyltp import Segmentor segmentor = Segmentor("/path/to/your/cws/model") words = segmentor.segment("元芳你怎么看") print("|".join(words)) segmentor.release() 除了分词之外，pyltp 还提供词性标注、命名

java版飞机大战源码 awesome-chinese-nlp A curated list of resources for NLP (Natural Language Processing) for Chinese 中文自然语言处理相关资料 图片来自复旦大学邱锡鹏教授 Contents 列表 1. 2. 3. 4. 5. Chinese NLP Toolkits 中文NLP工具 Toolkits 综合NLP工具包 by 清华 (C++/Java/Python) by 中科院 (Java) by 哈工大 (C++) LTP的python封装 by 复旦 (Java) by 百度 Baidu's open-source lexical analysis tool for Chinese, including word segmentation, part-of-speech tagging & named entity recognition. (Java) (Python) 一款轻量级的 NLP 处理套件。 (Python) Python library for processing

自然语言处理的入门学习参考资料

信息提取中文 中文信息提取（包括命名实体识别，关系提取等）专注于最新的深度学习方法。 为了清楚起见，该项目有几个子任务，分别带有详细的README.md。 文件夹RE_BGRU_2ATT /中的详细信息 文件夹NER_IDCNN_CRF /中的详细信息 详情 参考