随着互联网技术的快速发展,互联网上的文本数据变得越来越多,传统的人工文本类
别划分方法已经无法应对当前的数据量,自动文本分类技术成为研究的热点。作为文本挖
掘技术的主要分支,文本分类技术可以有效解决大数据发展下的文本自动分类需求。特征
选择和文本分类算法是文本分类技术的两个关键部分,本文主要针对这两个部分进行研究。
在特征选择部分,本文提出一种基于卡方统计量(CHI)和互信息(MI)的混合特征
选择方法(CHMI),该方法首先针对卡方统计量方法对低频词敏感的缺点,引入词频因子
进行改进,然后使用调节参数改善互信息方法对类别敏感的不足,最终结合改进后的两种
方法,得到对低频词和类别均有较好处理效果的混合特征选择方法。实验结果表明,与传
统的卡方统计量方法和互信息方法相比,本文方法在支持向量机、朴素贝叶斯和K最近邻
分类器上,均可以有效提高文本分类的准确率。
在文本分类算法部分,分类器采用支持向量机,支持向量机的核心是核函数,本文提
出一种基于多项式核函数和高斯核函数的混合核函数。该核函数具有多项式核函数和高斯
核函数的优点,既具有多项式核函数能够提取整体特征的能力,又利用高斯核函数对局部