在Pyrotch上实现情感分类模型,包含一个BERT 模型和一个分类器(MLP),两者间有一个dropout层。BERT模型实现了预训练参数加载功能,预训练的参数使用HuggingFace的bert_base_uncased模型。同时在代码中实现了基于预训练BERT模型的下游情感分类任务的fine_tune,包含了训练集上的训练、测试集上测试评估性能等内容。
情感分类的大致过程为:首先,将一个句子中的每个单词对应的词向量输入BERT,得到句子的向量表征。然后将句向量经过dropout层再输入分类器,最后输出二元分类预测。
1