chop
Python 中文分词工具包
欢迎
GitHub:
Pypi:
依赖
Python3
使用说明
代码对 Python 3 兼容
全自动安装： easy_install chop 或者 pip install chop / pip3 install chop
接口
from chop.hmm import Tokenizer as HMMTokenizer
from chop.mmseg import Tokenizer as MMSEGTokenizer
sentence = "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作。"
def main():
HT = HMMTokenizer()
MT = MMSEGTokenizer()
print('HMM Tokenizer:', ' '.join(HT.cut(senten
2023-05-16 14:07:58
7.81MB
1
捷巴-lucene分析
jieba使用的lucene中文分析器和Tokenizer（ ）。
2023-01-24 17:11:16
5KB
1
解决问题：
TypeError: TextEncodeInput must be Union[TextInputSequence,Tupele[InputSequence, InputSequence]]
使用方法：
pip install transformers_old_tokenizer-3.1.0-py3-none-any.whl
from transformers_old_tokenizer import AutoTokenizer
2022-09-05 17:05:49
209KB
1
作者
电子邮件
胜利者
银军
海蜇
安装安装
通过pip安装
pip install smoothnlp > =0.4.0
通过源代码安装最新版本
git clone https://github.com/smoothnlp/SmoothNLP.git
cd SmoothNLP
python setup.py install
知识图谱
仅支持SmoothNLP V0.3.0的版本；以下展示为V0.4版本后样例：
调用示例＆可视化
from smoothnlp . algorithm import kg
from kgexplore import visual
ngrams = kg . ex
2022-01-22 19:56:48
5.49MB
1
如果下面这条命令执行失败的话
------------
from torchtext import data
data Field(tokenize=spacy", tokenizer_Language=r'en)
------------
可以先下载资源包, 解压，然后把命令换成下面这种
data Field(tokenize="Spacy', tokenizer_Language=r"F: \ tmp
Men_core -web_sm-2.3.0\en_core_web_sm\en___sm-2 3.01)
2021-12-31 08:39:36
11.49MB
1
快速，准确的越南语分词器
如所述，RDRsegmenter的实现：
@InProceedings{NguyenNVDJ2018,
author={Dat Quoc Nguyen and Dai Quoc Nguyen and Thanh Vu and Mark Dras and Mark Johnson},
title={{A Fast and Accurate Vietnamese Word Segmenter}},
booktitle={Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018)},
pages={2582--2587},
year={2018}
}
每当将RDRsegmenter用于产生已发布的结果或将其合并到其他软件中时，请引用
2021-12-14 10:36:37
394KB
1