bert的PPT byJacob Devlin. bert的第一作者， Google AI大佬

情绪分析 在 上通过微调 ， 或训练的情感分析神经网络。 安装要求 pip install numpy pandas torch transformers 使用我在s3上载的模型分析您的输入 python analyze.py 火车模型 python train.py --model_name_or_path bert-base-uncased --output_dir my_model --num_eps 2 支持bert-base-uncase，albert-base-v2，distilbert-base-uncase和其他类似模型。 评估您训练的模型 python evaluate.py

最近，自然语言处理领域的进步引发了adhoc搜索任务的复兴。特别是，大型上下文化语言建模技术，如BERT，已经为排序模型配备了比以前的单词袋(BoW)模型更深入的语言理解能力。将这些技术应用到新任务中是很棘手的，需要深度学习框架的知识，以及重要的脚本和数据分析。

learn_bert-main.zip

具体使用方法可以看我的博客：https://blog.csdn.net/weixin_40015791/article/details/90410083 下面也会简单介绍一下：在bert开源代码中的run_classifier.py中找到 processors = { "cola": ColaProcessor, "mnli": MnliProcessor, "mrpc": MrpcProcessor, "xnli": XnliProcessor, "intentdetection":IntentDetectionProcessor, "emotion":EmotionProcessor, #新加上这一行 } 然后在该文件中增加一个class： class EmotionProcessor(DataProcessor): """Processor for the MRPC data set (GLUE version).""" def get_train_examples(self, data_dir): """See base class.""" return self._create_examples( self._read_tsv(os.path.join(data_dir, "fine_tuning_train_data.tsv")), "train") #此处的名字和文件夹中的训练集的名字要保持一致 def get_dev_examples(self, data_dir): """See base class.""" return self._create_examples( self._read_tsv(os.path.join(data_dir, "fine_tuning_val_data.tsv")), "dev") def get_test_examples(self, data_dir): """See base class.""" return self._create_examples( self._read_tsv(os.path.join(data_dir, "fine_tuning_test_data.tsv")), "test") def get_labels(self): """See base class.""" return ["0", "1","2","3","4","5","6"] #七分类则从0到6 def _create_examples(self, lines, set_type): """Creates examples for the training and dev sets.""" examples = [] for (i, line) in enumerate(lines): if i == 0: continue guid = "%s-%s" % (set_type, i) if set_type == "test": label = "0" text_a = tokenization.convert_to_unicode(line[0]) else: label = tokenization.convert_to_unicode(line[0]) text_a = tokenization.convert_to_unicode(line[1]) examples.append( InputExample(guid=guid, text_a=text_a, text_b=None, label=label)) return examples 最后直接调用即可，运行的命令如下： python run_classifier.py \ --task_name=emotion \ --do_train=true \ --do_eval=true \ --data_dir=data \ #把数据解压到同一级的文件夹中，此处是该文件夹名字data --vocab_file=chinese_L-12_H-768_A-12/vocab.txt \ #中文数据要微调的原始bert模型 --bert_config_file=chinese_L-12_

英文BERT论文原汁预训练数据之一

英文BERT论文原汁预训练数据之一

kaggle真假新闻分类数据集

Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning

MovieLens1M基于深度学习的电影推荐系统 使用MovieLens1M数据集（数据可以从下载），实现自动编码器（AE），可变自动编码器（VAE），BERT提取电影名特征3种方法，对评分矩阵进行耦合，继而对用户做出推荐。 代码建议在Google Colab环境下运行，代码中的目录请根据自己的实际目录进行修改。 本代码主目录和子目录如下： / content / drive / Movie_lens / --------- ml-1m（包含数据集的文件夹） ---------自动编码器.ipynb ---------基于BERT的recommender.ipynb 1个型号： 1.1自动编码器 1.2可变自动编码器 1.3基于BERT 2实验结果： 2.1自动编码器的训练损失和验证损失的MSE 2.2变分自动编码器的训练损失和验证损失的MSE 2.3基于BERT的训练损失和测试损失的M