BERT扩展 （来自变压器的双向编码器表示）是Google AI语言小组提出的一种通用的自动编码预训练方法，它在11个NLP任务（包括问题回答，自然，语言推理和情感分析）方面获得了最新的技术成果。 BERT旨在通过在所有层的左，右上下文上共同进行条件调节来预训练来自未标记文本的深层双向表示，这使它可以轻松地针对下游任务进行微调，而无需进行大量针对特定任务的体系结构修改。 该项目旨在提供基于当前BERT的扩展，并将BERT的功能带给NER和NLU等其他NLP任务。 图1：在不同任务上对BERT进行微调的图示 环境 的Python 3.6.7 Tensorflow 1.13.1 NumPy 1.13.3 数据集 是一个多任务数据集，包含3个子任务，POS标记，语法块和NER。 对于NER子任务，它包含4种命名实体：不属于前三组的人员，位置，组织和杂项名称。 （航空公司旅行信息系统）

xlm-r-distilroberta-base-paraphase-v1，在释义识别（释义识别是判断两个句子是否有相同含义的任务，是自然语言理解的标准。）方面表现出色。 使用参考sentence_transformers 的文档。

韩国BERT预训练案例（KoBERT） 为什么'？' 구글 训练环境 建筑学 predefined_args = { 'attention_cell' : 'multi_head' , 'num_layers' : 12 , 'units' : 768 , 'hidden_size' : 3072 , 'max_length' : 512 , 'num_heads' : 12 , 'scaled' : True , 'dropout' : 0.1 , 'use_residual' : True , 'embed_size' : 768 , 'embed_dropout' : 0.1 , 'token

Use-transformers-train-Bert-from-scratch:TIANCHI-小布助手对话短文本语义匹配BERT基准

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史.pdf

chinese_L-12_H-768_A-12中文预训练模型

tensorflow2.0 对实体命名识别的数据预处理 1

从头开始训练BERT代码，解压密码在https://blog.csdn.net/herosunly/article/details/113937736

使用基于bert的微调和特征提取方法来进行知识图谱百度百科人物词条属性抽取。

transformers+pytorch框架下使用的bert-chinese谷歌官方预训练版本，其中有三个文件:config.json、pytorch_model.bin、vocab.txt