CogLTX的论文代码，给大家看看，里面也有一些自己加进去的，可以看看

https://github.com/google-research/bert 里的预训练好的模型，英文的

用于人际关系分类的R-BERT 本项目采用R-BERT模型：对人物关系进行分类，提升效果明显，在测试集上的F1值达到85％。 数据集 共3901条标注样本，训练集：测试集= 8：2 标注样本：亲戚 1837年6月20日，威廉四世辞世，他的侄女维多利亚即位。 ，其中亲戚为关系，威廉四世为实体1（entity_1 ），维多利亚为实体2（entity_2）。 每一种关系的标注数量如下图： 模型结构 从BERT获得三个向量。 [CLS]令牌向量 实体_1平均向量 平均实体_2向量 将每个矢量传递到完全连接的层。 退出-> tanh-> fc-layer 连接三个向量。 将串联的矢量传递到完全连接层。 辍学-> FC层 完全符合书面条件。 分别平均对entity_1和entity_2隐藏状态向量。 （包括$，＃个令牌） 完全连接层之前的Dropout和

BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型。该文件是其预训练模型文件，直接加载使用。

BERT扩展 （来自变压器的双向编码器表示）是Google AI语言小组提出的一种通用的自动编码预训练方法，它在11个NLP任务（包括问题回答，自然，语言推理和情感分析）方面获得了最新的技术成果。 BERT旨在通过在所有层的左，右上下文上共同进行条件调节来预训练来自未标记文本的深层双向表示，这使它可以轻松地针对下游任务进行微调，而无需进行大量针对特定任务的体系结构修改。 该项目旨在提供基于当前BERT的扩展，并将BERT的功能带给NER和NLU等其他NLP任务。 图1：在不同任务上对BERT进行微调的图示 环境 的Python 3.6.7 Tensorflow 1.13.1 NumPy 1.13.3 数据集 是一个多任务数据集，包含3个子任务，POS标记，语法块和NER。 对于NER子任务，它包含4种命名实体：不属于前三组的人员，位置，组织和杂项名称。 （航空公司旅行信息系统）

xlm-r-distilroberta-base-paraphase-v1，在释义识别（释义识别是判断两个句子是否有相同含义的任务，是自然语言理解的标准。）方面表现出色。 使用参考sentence_transformers 的文档。

韩国BERT预训练案例（KoBERT） 为什么'？' 구글 训练环境 建筑学 predefined_args = { 'attention_cell' : 'multi_head' , 'num_layers' : 12 , 'units' : 768 , 'hidden_size' : 3072 , 'max_length' : 512 , 'num_heads' : 12 , 'scaled' : True , 'dropout' : 0.1 , 'use_residual' : True , 'embed_size' : 768 , 'embed_dropout' : 0.1 , 'token

Use-transformers-train-Bert-from-scratch:TIANCHI-小布助手对话短文本语义匹配BERT基准

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史.pdf

chinese_L-12_H-768_A-12中文预训练模型