GBDT_Simple_Tutorial（梯度提升树简易教程） 简介 利用python实现GBDT算法的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，便于读者庖丁解牛地理解GBDT。 项目进度： 回归 二分类 多分类 可视化 算法原理以及公式推导请前往blog： 依赖环境 操作系统：Windows/Linux 编程语言：Python3 Python库：pandas、PIL、pydotplus， 其中pydotplus库会自动调用Graphviz，所以需要去下载graphviz的-2.38.msi ，先安装，再将安装目录下的bin添加到系统环境变量，此时如果再报错可以重启计算机。详细过程不再描述，网上很多解答。 文件结构 | - GBDT 主模块文件夹 | --- gbdt.py 梯度提升算法主框架 | --- decision_tree.py 单颗树生成，包括节点划分

此代码实现了 RUSBoost。 RUSBoost 是一种处理具有离散类标签的数据中的类不平衡问题的算法。 它结合使用 RUS（随机欠采样）和标准提升程序 AdaBoost，通过删除多数类样本来更好地对少数类进行建模。 它与 SMOTEBoost 非常相似，后者是另一种结合了 boosting 和数据采样，但声称通过随机欠采样 (RUS) 实现目标多数类的例子。 这种方法导致算法更简单，模型训练时间更快。 目前RUSBoost的实现已经由作者独立完成以研究为目的。 为了让用户使用很多不同的用于提升的弱学习器，使用 Weka API 创建了一个接口。 目前，四种 Weka 算法可以用作弱学习器：J48、SMO、IBk、Logistic。 它使用 10 次 boosting 迭代，并通过删除多数类在每次 boosting 迭代中实现 35:65（少数：多数）的类不平衡比样品。 有关该算法

boosting算法的PPT课件,比较详细,适合刚学或想学boosting算法的同学

adaboosting集成算法 data中为数据文件，算法流程为1、样本权值初始化；2、给样本加权；3、训练弱分类器；4、判断弱分类器的正确率是否满足要求

基于LBP的实现人脸检测，其中PCA用来降维，LBP用于提取纹理特征BoostingLbp，源码包含了很多知识点。

Boosting算法简介笔记 Boosting算法简介笔记 Boosting算法简介笔记

Boost1.75官方开源windows最新免费版2021年4月6日下载,包含32位和64位版本,解压后直接开源使用

在本文中，Boosting用于确定将基本预测变量聚合为Double-Bagging集合的顺序，并且通过基于两个启发式停止规则的早期停止聚集过程来构建子集合。 在所有调查的分类和回归问题中，修剪后的乐团在大多数情况下的表现要好于装袋，Boosting和完全随机排序的Double-Bagging乐团。 因此，当将预测精度，预测速度和存储要求都考虑在内时，所提出的方法可能是解决当前预测问题的好选择。

陈天奇xgb论文。Tree boosting is a highly eective and widely used machine learning method. In this paper, we describe a scalable endto- end tree boosting system called XGBoost, which is used widely by data scientists to achieve state-of-the-art results on many machine learning challenges. We propose a novel sparsity-aware algorithm for sparse data and weighted quantile sketch for approximate tree learning. More importantly, we provide insights on cache access patterns, data compression and sharding to build a scalable tree boosting system. By combining these insights, XGBoost scales beyond billions of examples using far fewer resources than existing systems.

Adaboost实战代码，利用决策树桩作为基弱分类器，并利用集成学习器进行病马死亡率的预测，得到了良好的预测效果。