google bert

BertSum 该代码是针对纸质Fine-tune BERT for Extractive Summarization （ ） ！新：请查看我们的其中包含受过训练的模型 CNN / Dailymail的结果（25/3/2019）： 楷模 ROUGE-1 ROUGE-2 ROUGE-L 变压器基线 40.9 18.02 37.17 BERTSUM +分类器 43.23 20.22 39.60 BERTSUM +变压器 43.25 20.24 39.63 BERTSUM + LSTM 43.22 20.17 39.59 Python版本：此代码在Python3.6中 软件包要求：pytorch pytorch_pretrained_bert tensorboardX多进程pyrouge 一些代码是从ONMT借来的（ ） CNN / Dailymail

该模型为谷歌使用大量tpu训练的bert模型，一个tpu性能要比最强大的gpu强，训练的bert模型用处nlp，通常训练nlp模型时用该模型为预训练模型

这是一个面向句子的情感分类问题。训练集和测试集已给出，使用训练集进行模型训练并对测试集中各句子进行情感预测。训练集包含10026行数据，测试集包含4850行数据。使用run_classifier.py对文本进行情感分类预测，模型为BERT-base基础版本模型。

BERTScore利用来自BERT的预训练上下文嵌入，并通过余弦相似性匹配候选和参考句子中的单词

1、内容概要：本资源主要基于bert（keras）实现文本分类，适用于初学者学习文本分类使用。 2、数据集为电商真实商品评论数据，主要包括训练集data_train，测试集data_test ，经过预处理的训练集clean_data_train和中文停用词表stopwords.txt，可用于模型训练和测试，详细数据集介绍见商品评论情感数据说明文档。 3、源代码：word2vec_analysis.py 是基于Word2Vec进行词向量的生成，采用向量平均求得句向量，然后分别构建RandomForest和GBDT分类模型进行文本分类。 4、源代码：bert_model.py是基于keras-bert构建Bert模型对文本进行分类。

运行记录： 训练集每类9k数据集，训练集一般为每类1k； 1.利用英文数据集进行二分类，因为数据可能过于中和，运行正确率在85%左右，其中测试集没有label输出自己评价可以发现测试集正确率和验证集类似，大约85%，epoch为2 2.利用上述影评二分类，label 0 1 对应1 5星影评，正确率在99%+ 3.利用上述影评三分类，label 0 1 2对应1 3 5星影评，正确率在99%左右 4.利用上述影评四分类，label 0 1 2 3对应1 3 4 5星影评，小数据训练，135星各9k训练集，4星10个训练集，输出相同大小，准确率78%左右，也就是说基本预测错误，说明不可以进行小规模训练。 5.利用上述影评五分类，label 0 1 2 3 4对应1 2 3 4 5星影评，正确率97%+

文本多标签分类-BERT-Tf2.0 该存储库包含针对多标签文本分类的预训练BERT模型的Tensorflow2.0实现。 脚步 从下载数据 借助download_bert.sh下载预训练的模型权重 运行train_bert.py 训练损失和准确性 测试损失和准确性

BERT vocab.txt

GLUE——MRPC数据集。因为资源大小限制，该资源只包含MRPC数据集。 Microsoft Research Paraphrase Corpus 下载地址https://www.microsoft.com/en-us/download/details.aspx?id=52398