情感分析旨在分类出文本在不同方面的情感倾向。在长文本的方面级情感分析中,由于长文本存在一定冗余性和噪声大的问题,导致现有的方面级情感分析方法对于长文本中方面相关信息的特征提取不够充分,分类不精准;在方面分层为粗粒度和细粒度方面的数据集上,现有的解决方法没有利用粗粒度方面中的信息。针对以上问题,提出基于文本筛选和改进BERT的算法TFN+BERT-Pair-ATT。该算法首先利用长短时记忆网络(LSTM)和注意力机制相结合的文本筛选网络(TFN)从长文本中直接筛选出与粗粒度方面相关的部分语句,然后将部分语句按次序进行组合,并结合细粒度方面输入至在BERT上增加注意力层的BERT-Pair-ATT中进行特征提取,最后使用Softmax进行情感分类。通过与GCAE(Gated Convolutional Network with Aspect Embedding)、IAN(Interactive Attention Network)等经典模型相比,该算法在验证集上的相关评价指标分别提高了3. 66%和4. 59%;与原始BERT模型相比提高了0. 58%。
2021-07-15 15:09:52 807KB BERT
1
| 简体中文 pycorrector 中文文本纠错工具。音似、形似错字(或变体字)纠正,可用于中文拼音、笔画输入法的错误纠正。python3.6开发。 pycorrector依据语言模型检测错别字位置,通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。 Guide Question 中文文本纠错任务,常见错误类型包括: 谐音字词,如 配副眼睛-配副眼镜 混淆音字词,如 流浪织女-牛郎织女 字词顺序颠倒,如 伍迪艾伦-艾伦伍迪 字词补全,如 爱有天意-假如爱有天意 形似字错误,如 高梁-高粱 中文拼音全拼,如 xingfu-幸福 中文拼音缩写,如 sz-深圳 语法错误,如 想象难以-难以想象 当然,针对不同业务场景,这些问题并不一定全部存在,比如输入法中需要处理前四种,搜索引擎需要处理所有类型,语音识别后文本纠错只需要处理前两种, 其中'形似字错误'主要针对五笔或者笔画手
2021-07-15 12:34:01 13.6MB bert spelling-errors electra error-detection
1
bert模型,用于自然语言处理。
2021-07-14 18:07:48 975.96MB nlp Bert
1
详细说明位于 zip 文件中的自述文件中。 Github:https://github.com/nlpcl-lab/bert-event-extraction
2021-07-12 16:04:26 13KB 开源软件
1
BERT-QE 此 repo 包含该论文的代码和资源: 。 在ACL 的发现:EMNLP 2020 中。 介绍 BERT-QE 利用 BERT 的优势来选择相关的文档块进行查询扩展。 BERT-QE 模型由三个阶段组成,其中可以使用不同大小的 BERT 模型来平衡有效性和效率。 下面列出了 Robust04 上的一些实验结果: 模型 襟翼 P @ 20 NDCG@20 地图 BERT-大 1.00 倍 0.4769 0.5397 0.3743 BERT-QE-LLL 11.19 倍 0.4888 0.5533 0.3865 BERT-QE-LMT 1.03 倍 0.4839 0.5483 0.3765 BERT-QE-LLS 1.30 倍 0.4869 0.5501 0.3798 要求 我们建议安装 。 然后使用 Anaconda 安装软件包: c
1
用脑图解析bert代码架构,其中有丰富的备注,备注每个函数是怎么实现的。
2021-07-10 21:44:41 183KB 脑图
1
BERT模型从训练到部署全流程 Tag: BERT 训练 部署 缘起 在群里看到许多朋友在使用BERT模型,网上多数文章只提到了模型的训练方法,后面的生产部署及调用并没有说明。 这段时间使用BERT模型完成了从数据准备到生产部署的全流程,在这里整理出来,方便大家参考。 在下面我将以一个“手机评论的情感分类”为例子,简要说明从训练到部署的全部流程。最终完成后可以使用一个网页进行交互,实时地对输入的评论语句进行分类判断。 基本架构 基本架构为: graph LR A(BERT模型服务端) --> B(API服务端) B-->A B --> C(应用端) C-->B +-------------------+ | 应用端(HTML) | +-------------------+ ^^ || VV +---------------
2021-07-10 20:53:43 891KB 附件源码 文章源码
1
基于Pytorch的Bert应用,包括命名实体识别、情感分析、文本分类以及文本相似度等(后续更新其他方向相关模块),并有相关数据与深度训练优化方式api。各个子项目大都为开源工作,本项目仅做相应处理以及提供一个已训练的预测接口,方便需求者进行快速的使用。本项目仅作为学习与研究使用,若存在侵权行为,请原作者务必联系我进行协商处理。
2021-07-08 15:02:44 716KB Pytorch Bert 命名实体识别 情感分析
中文文本情感分析,可使用多种模型 使用bert模型进行训练测试,执行命令如下 python main.py --model bert 基于训练好的bert模型预测新数据,执行命令如下 python predict.py --model bert --predict "your sentence" 使用ERNIE模型进行训练测试,执行命令如下 python main.py --model ERNIE 基于训练好的ERNIE模型预测新数据,执行命令如下 python predict.py --model ERNIE --predict "your sentence"
2021-07-08 15:02:39 814KB bert
| | | :party_popper: :party_popper: :party_popper: 我们发布了带有TF2支持的2.0.0版本。 :party_popper: :party_popper: :party_popper: 如果您将此项目用于研究,请引用: @misc{Kashgari author = {Eliyar Eziz}, title = {Kashgari}, year = {2019}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/BrikerMan/Kashgari}} } 总览 Kashgari是一个简单而强大的NLP Transfer学
1