基于机器学习的文本分类研究与实现

随着互联网技术的快速发展，互联网上的文本数据变得越来越多，传统的人工文本类 别划分方法已经无法应对当前的数据量，自动文本分类技术成为研究的热点。作为文本挖 掘技术的主要分支，文本分类技术可以有效解决大数据发展下的文本自动分类需求。特征 选择和文本分类算法是文本分类技术的两个关键部分，本文主要针对这两个部分进行研究。 在特征选择部分，本文提出一种基于卡方统计量(CHI)和互信息(MI)的混合特征 选择方法(CHMI)，该方法首先针对卡方统计量方法对低频词敏感的缺点，引入词频因子 进行改进，然后使用调节参数改善互信息方法对类别敏感的不足，最终结合改进后的两种 方法，得到对低频词和类别均有较好处理效果的混合特征选择方法。实验结果表明，与传 统的卡方统计量方法和互信息方法相比，本文方法在支持向量机、朴素贝叶斯和K最近邻 分类器上，均可以有效提高文本分类的准确率。 在文本分类算法部分，分类器采用支持向量机，支持向量机的核心是核函数，本文提 出一种基于多项式核函数和高斯核函数的混合核函数。该核函数具有多项式核函数和高斯 核函数的优点，既具有多项式核函数能够提取整体特征的能力，又利用高斯核函数对局部