主要介绍了Python实现简单的文本相似度分析操作,结合实例形式分析了Python基于分词API库jieba及文本相似度库gensim针对文本进行相似度分析操作的实现技巧与注意事项,需要的朋友可以参考下
2021-10-14 14:57:36
63KB
1
EasyBert
基于Pytorch的Bert应用，包括命名实体识别、情感分析、文本分类以及文本相似度等(后续更新其他方向相关模块)，并有相关数据与深度训练优化方式api。各个子项目大都为开源工作，本项目仅做相应处理以及提供一个已训练的预测接口，方便需求者进行快速的使用。本项目仅作为学习与研究使用，若存在侵权行为，请原作者务必联系我进行协商处理。
使用示例
使用前需下载相应的已训练模型，并导入相应位置
模型下载地址：
在此目录下各以需求名命名的文件中提供相应的使用演示，本阶段所训练的模型效果可以满足相应任务的基本需求。
现阶段通过各任务接口的时间相对慢，大都是在模型加载阶段。若想提升相应的速度，请使用者在接受相应精度损失的前提下更换AlBert进行相应任务的重新预训练。
依赖项
环境依赖
python >= 3.7 Pytorch >= 1.14 transformers >= 2.8.0
2021-10-02 19:01:24
720KB
1
1、run_cnews_classifier.py 原生bert实现的文本分类
原文链接：
2、run_tnews_classifier.py 基于keras_bert实现的文本分类
原文链接：
3、run_lcqmc_similarity.py 基于bert4keras实现的文本相似度计算
原文链接：
4、run_kashgari_classifier.py 基于kashgari实现的文本分类
原文链接：
5、run_ChineseDailyNerCorpus.py 基于kashgari + bert/albert实现的ner
原文链接：
6、Bert_Train.py 基于bert训练模型，并保存为pb格式
原文链接：
7、Bert_Predict.py requests调用tf serving中的bert模型
原文链接：
8、fastbert.py 基于fastbert实现文本分类
2021-09-09 19:11:30
6.44MB
1
中文文本相似度/文本推理/文本匹配数据集——Chinese SNLI MultiNli
2021-09-07 10:45:17
19.19MB
1