机器学习课设大作业基于BERT和朴素贝叶斯算法的新闻文本分类项目(源码+大作业+数据集)。一个很完整的项目源码,操作没难度,新手也可放心下载。
data文件夹中已经包括了初始的数据集和处理之后的数据集。.csv文件初始数据集,另外两个是经过News_prediction.ipynb代码处理过的。在Bert和NaiveBayes训练函数中直接加载上来。
result文件夹中的文件是朴素贝叶斯和Bert模型训练后的输出文件
互联网假新闻分类 一共三种类别:真新闻、假新闻、不用判断 40000条训练文本数据,10000条测试数据。 基于正则表达式和Jieba完成特征工程 朴素贝叶斯:tf-idf词嵌入。87.4% BERT:cn-wmm预训练词向量。5-epoch,91.4%