机器学习中特征选问题研究

机器学习主要利用已知数据学习和推理其中未知的、潜在的概率分布的重要特性，揭示数据样本中变量（或特征）之间的关系。影响机器学习性能的最重要因素之一是向系统提供的数据的质量。随着计算机技术的高速发展和广泛应用，高维度的大规模数据不断涌现和积累，这些高维数据中存在着大量的冗余、无关特征，给现有的机器学习算法提出了更高的要求，带来了巨大挑战。特征选择是机器学习、模式识别和统计学等领域的重要研究课题之一，是数据预处理的一种重要而常用的手段。特征选择根据样本的分布特性，基于某种评估标准，从原始特征空间中选取一个最优的特征子集代替原始特征空间，所选择的特征子集具有与原始特征空间相近甚至更好的分类性能。特征选择算法可以有效地剔除冗余特征和无关特征，提高机器学习算法的泛化性能和运行效率，在实际应用中得到了广泛的推广。特征选择算法主要分为 Filter、Wrapper 和 Embedded 模式三大类，其中 Filter 模式由于其速度快和通用性强等特点备受青睐。然而，现有的 Filter特征选择算法存在这样的问题：要么选择出最具区分能力的若干特征作为最优特征子集，要么选择出区分能力较高且相互之间不冗余的