自动文章评分
概要
本项目通过文本分析技术实现对文章作文的自动打分，目标是作文集中，采用gbdt模型进行拟合。 ，，加上文章单词数，类别词性的单词数，错别字，句子个数等等，将上述特征串联作为输入，使用gbdt模型拟合目标
依赖
python3
大熊猫
麻木
matplotlib
恩特克
斯克莱恩
word2vec
细绳
实现
1.数据分析
使用boxplot可视化作文分数的分布，如下图：
可以看到在作文类型为1,2,5,6,7,8中有个别的异常值点，这些异常值点需要在文本预先时剔除。
2.训练词向量
利用word2vec对训练样本做词向量的训练，可视化结果如下：
可以看到意思相近的词的距离还是比较近的，例如，总是在开头的when和who，kid和people等等。
3.特征工程
文本特征采用采样的方式，目标是从文章中一共采样200个词向量，均匀间隔采样，不够则从头开始循环采样
文章中
2022-03-01 09:19:45
13.12MB
1