自动文章评分
概要
本项目通过文本分析技术实现对文章作文的自动打分,目标是作文集中,采用gbdt模型进行拟合。 ,,加上文章单词数,类别词性的单词数,错别字,句子个数等等,将上述特征串联作为输入,使用gbdt模型拟合目标
依赖
python3
大熊猫
麻木
matplotlib
恩特克
斯克莱恩
word2vec
细绳
实现
1.数据分析
使用boxplot可视化作文分数的分布,如下图:
可以看到在作文类型为1,2,5,6,7,8中有个别的异常值点,这些异常值点需要在文本预先时剔除。
2.训练词向量
利用word2vec对训练样本做词向量的训练,可视化结果如下:
可以看到意思相近的词的距离还是比较近的,例如,总是在开头的when和who,kid和people等等。
3.特征工程
文本特征采用采样的方式,目标是从文章中一共采样200个词向量,均匀间隔采样,不够则从头开始循环采样
文章中
2022-03-01 09:19:45
13.12MB
系统开源
1