人工智能西瓜数据集——决策树

通过本次实验，我们进一步监督学习的基本知识，重点理解决策树的常见算法和改进策略，掌握决策树的基本实现方法，考虑决策树的实现细节，实现了基本的决策树模型并使用汽车模型和蘑菇模型对模型进行测试和可视化，测试效果较好。

使用方法：运行main.py文件即可，或者命令行输入"python main.py"。

决策树——ID3算法1.信息熵2.信息增益3.西瓜数据集来构造决策树 用信息增益大小作为决策树属性选择划分的依据是ID3算法构造决策树的核心思想 1.信息熵 在讲信息增益之前就不得不提到信息熵，信息熵定义为： 其中： D —— 样本集合 Pk —— 第k类样本所占比例（k取1,2,…,|y|） 它是度量样本集合纯度最常用的指标，通常En(t)越小样本集合纯度越高。 2.信息增益 信息增益定义为： 其中： a —— 样本中的一个属性 D —— 样本集合 Dv ——实际属性值v对应的样本集合 V —— 属性a对应的实际属性值个数 v —— 某一个实际属性值计数 Ent(D) —— D的信息熵

提出一种连续属性值域划分的离散化新方法，该方法定义一个新的离散化函数，依据类与属性之间的相互依赖关系选择最优的离散区间列表；此外，采用变精度粗糙集理论合理地控制数据离散化产生的信息丢失，减少分类错误。仿真结果和统计分析表明，提出的方法有较好的C5.0决策树分类能力。

python实现决策树（C4.5算法），使用西瓜数据集，参考《机器学习》和统计学习方法实现决策树算法。

基于监测数据及机器学习算法的湖泊水质实时评价技术对当前湖泊水资源的管理、维护和保护具有重要意义。本文针对巢湖水质的类别评价，利用随机森林(Random Forest, RF)分类算法对该区域水质进行类别判定。与其他算法相比,随机森林算法有着精度高、可容忍噪声强等诸多优点。测试结果表明，当决策树的棵数ntree=300，分裂属性集中属性个数mtry=2时，在合肥湖滨监测断面水质分类准确率可达96.15%，在巢湖裕溪口监测断面水质分类准确率高达100%，该方法具有稳健性较高、实用性强、泛化性能好等特点, 能够有效进行水质评价。

特征选择算法能够更好地提高入侵检测系统的检测速度和检测效果,消除冗余数据并减轻噪音特征.结合特征选择算法的优势,提出一种基于主成分分析(PCA)与决策树(C4.5)的入侵检测方法,进而构建出轻量级的入侵检测系统.通过在KDD1999数据集上对该方法进行详细的实验验证,证明该方法一方面确保系统有较高的检测率与较低误报率,另一方面能够比较显著地提高系统的训练时间与测试时间.同时,通过比较实验发现此方法在训练时间、测试时间、检测率、误报率上的效果也优于GA-SVM方法.

本设计基于决策树算法从多角度对某学校网上平台的学生行为数据进行分析，将根据学生的综合成绩将学生划分为三类：优秀（80分 – 100分）、良好（60分 – 79）、差（0分 – 59分）。这些数据包括到课率、预习率、习题正确率、综合成绩，数据量达千余条。通过已有数据建立决策树模型，供该平台未来的使用者进行预测，起到教学预警的作用。

学习SVM 的很好的文档，可以好好交流一下