决策树——ID3算法1.信息熵2.信息增益3.西瓜数据集来构造决策树 用信息增益大小作为决策树属性选择划分的依据是ID3算法构造决策树的核心思想 1.信息熵 在讲信息增益之前就不得不提到信息熵，信息熵定义为： 其中： D —— 样本集合 Pk —— 第k类样本所占比例（k取1,2,…,|y|） 它是度量样本集合纯度最常用的指标，通常En(t)越小样本集合纯度越高。 2.信息增益 信息增益定义为： 其中： a —— 样本中的一个属性 D —— 样本集合 Dv ——实际属性值v对应的样本集合 V —— 属性a对应的实际属性值个数 v —— 某一个实际属性值计数 Ent(D) —— D的信息熵

《机器学习》决策树学习笔记，根据数据集生成决策树，并以json格式存储。目前没有做可视化展示部分，需要以后完善