决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。
分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。
2021-10-03 18:23:00
2KB
1
不管对决策树的知识了解有多少，这次通过一个简单的例子来就能够了解它的原理和明白实现的方法。
实际场景
对于一个眼科医生而言，当面对病人是否需要佩戴隐形眼镜时，只需要通过几个问题就能够判断出病人是需要带软，硬还是不能带隐形眼镜。因此我们的数据集就是病人的四个特征（‘age’, ‘prescript’, ‘astigmatic’, ‘tearRate’）的组合以及对应的结论（‘soft’,‘hard’,‘no lenses’），获取数据点击这里，提取码tvj6
先加载数据，如下：
# 加载数据
def loadData():
bigString = open(r'路径\lenses.txt
2021-10-02 17:29:47
116KB
1
Decision_tree-python
决策树分类（ID3，C4.5，CART）
三种算法的区别如下：
(1) ID3算法以信息增益为准则来进行选择划分属性，选择信息增益最大的；
(2) C4.5算法先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的；
(3) CART算法使用“基尼指数”来选择划分属性，选择基尼值最小的属性作为划分属性.
本次实验我的数据集如下所示：
共分为四个属性特征：年龄段，有工作，有自己的房子，信贷情况;
现根据这四种属性特征来决定是否给予贷款
为了方便，我对数据集进行如下处理：
在编写代码之前，我们先对数据集进行属性标注。
（0）年龄：0代表青年，1代表中年，2代表老年；
（1）有工作：0代表否，1代表是；
（2）有自己的房子：0代表否，1代表是；
（3）信贷情况：0代表一般，1代表好，2代表非常好；
（4）类别(是否给贷款)：no代表否，
2021-10-01 14:43:40
1.36MB
1
ID3和C4.5决策树学习算法的实现
通过使用ID3和C4.5算法实现决策树并生成F1分数。
在UCI机器学习蘑菇数据集上进行测试
入门：将“ Project1_N01412075_Resubmission”文件夹下载到本地驱动器。
This folder has
1) Project1_Mushroom_DT_N01412075.py - A file that contains source code for the implementation.
2) Mushroom folder that has 10 smaller training files(used for cross validation), 1 larger training file (which is a concatenation of all the smaller files) and a final
2021-09-29 11:20:29
311KB
1
代码实现李航统计学习经典算法，包含EM，SVM，决策树等
2021-09-28 16:02:39
26.61MB
6本程序中，将乳腺肿瘤病灶组织的细胞核显微图像的 10 个量化特征作为模型的输入，良性乳腺肿瘤和恶性乳腺肿瘤作为模型的输出。用训练集数据进行随机森林分类器的创建，然后对测试集数据进行仿真测试，最后对测试结果进行分析。
2021-09-28 14:00:31
463KB