上传者: 38633157
|
上传时间: 2021-10-06 13:58:07
|
文件大小: 51KB
|
文件类型: -
1.集成学习简介
一个牛逼的算法和10个简单的算法比,后者更好一点。
所以在解决过拟合和欠拟合问题的时候,使用boosting 和bagging 的方法。
欠拟合问题解决:弱弱组合变强 boosting
过拟合问题解决:相互牵制变壮 bagging
2. Bagging
bagging集成过程
采样:从所有样本中又放回的采样一部分特征
学习:训练弱n个学习器
集成:平权投票n 个若学习器
随机森林
定义:随机森林 = Bagging + 决策树
流程
在所有样本里选m个数据
在m个数据里选k个特征
训练n 个弱决策树
重复上三条
平权投票
注意:有放回的取出数据。选取的特征远小于所有特征