pytorch实现的 + 新闻多分类样例
1.安装依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
2.WoBERT模型下载
方式1.
从 下载keras模型，然后执行转换变成pytorch的模型
python config/conver.py
方式2.
直接下载使用 ， 链接: 密码: 94au
3.配置参数
vim config/configs.yaml
4.train\test
python train.py
5.案例数据
data/train.csv
细节
除了transformers转换模型，主要是tokenizer的变化
1.稍微自定义了个专门的分词，见src/models/bert_model.py:WoBertTokenizer
2.稍微自定义了个专门的BERT分
2021-12-13 17:26:22
21KB
1
FinBERT：针对财务NLP任务的SEC文件进行了预培训
Vinicio DeSola，Kevin Hanna，Pri Nonis
模型重量
出版物
动机
目标1 FinBERT-Prime_128MSL-500K+512MSL-10K vs BERT
比较技术财务句子的LM LM预测准确性
比较类比财务关系
目标2的FinBERT-Prime_128MSL-500K vs FinBERT-Pre2K_128MSL-500K
比较来自2019年财经新闻的Mask LM预测准确性
比较财务关系的类比，衡量理解的转变：1999年与2019年的风险与气候
目标3 FinBERT-Prime_1
2021-12-13 17:00:17
22.43MB
1
大鸟：变形金刚更长的序列
这不是Google的官方产品。
什么是BigBird？
BigBird是一种基于稀疏注意的转换器，它将基于Transformer的模型（例如BERT）扩展到更长的序列。 此外，BigBird还具有对稀疏模型可以处理的完整变压器的功能的理论理解。
由于能够处理更长的上下文，BigBird极大地提高了各种NLP任务（例如问题回答和摘要）的性能。
更多详细信息和比较可以在我们的找到。
引文
如果您觉得这很有用，请引用我们的：
@article{zaheer2020bigbird,
title={Big bird: Transformers for longer
2021-12-10 11:04:07
1.24MB
1
bert中文预训练模型，字典，有相关参数json等完整资源，可以直接通过bert的from_pretrained函数加载,可以直接拿来用，pytorch，tensorflow版本的都有，非常方便
2021-12-09 15:59:02
364.37MB
1
baseQA_in_insuranceqa
基于Bert和w2v在中文保险QA数据集上的baseline
2021-12-08 21:03:39
7KB
1
官网发布的tensorflow2.0版本以后可使用的BERT中文预训练模型文件，适合无法的伙伴使用tf2 进行fine tuning
2021-12-08 11:10:15
362.4MB
1
NER的BERT-BILSTM-GCN-CRF
在原本BERT-BILSTM-CRF上融合GCN和词性标签等做NER任务
数据格式
高B-剧种B-名词腔I-剧种I-名词：OO马B-人名B-名词平I-人名I-名词所OO着O B动词扶O B动词贫O I动词小O B -名词I O-名词
运行
2021-12-06 16:00:54
182KB
1
Google BERT入门
这是Packt发布的《 的代码库。
使用BERT构建和训练最先进的自然语言处理模型
这本书是关于什么的？
BERT（来自变压器的双向编码器表示形式）以令人鼓舞的结果彻底改变了自然语言处理（NLP）的世界。 本书是入门指南，可帮助您掌握Google的BERT架构。 通过对变压器架构的详细说明，这本书将帮助您了解变压器的编码器和解码器如何工作。
您将通过学习如何对BERT模型进行预训练以及如何对下游任务使用经过预训练的BERT进行学习，来探索BERT体系结构，方法是通过使用Hugging Face转换器库对NLP任务（例如，情感分析和文本摘要）进行微调来对BERT模型进行调整。 随着您的前进，您将了解BERT的不同变体，例如ALBERT，RoBERTa和ELECTRA，并查看SpanBERT，它用于NLP任务（如问题解答）。 您还将介绍基于知识提炼的更简单，
2021-12-05 21:58:01
186KB
1
使用BERT构建和训练最先进的自然语言处理模型
关于这本书
BERT（来自变压器的双向编码器表示）以令人鼓舞的结果彻底改变了自然语言处理（NLP）的世界。 本书是入门指南，可帮助您掌握Google的BERT架构。 通过对变压器架构的详细说明，这本书将帮助您了解变压器的编码器和解码器如何工作。
通过学习如何对BERT模型进行预训练以及如何对下游任务使用经过预训练的BERT，以及通过使用Hugging Face转换器库对NLP任务（例如，情感分析和文本摘要）进行微调，您将探索BERT架构。 随着您的前进，您将了解BERT的不同变体，例如ALBERT，RoBERTa和ELECTRA，并查看SpanBERT，它用于NLP任务（如问题解答）。 您还将介绍基于知识提炼的更简单，更快的BERT变体，例如DistilBERT和TinyBERT。
本书详细介绍了MBERT，XLM和XLM-R，然后向您
2021-12-05 20:45:52
17.8MB
1