GBDT、XGBoost&LightGBM.pdf

该文档详细介绍了机器学习算法中的GBDT和XGboost 两大神器

GBDT_Simple_Tutorial（梯度提升树简易教程） 简介 利用python实现GBDT算法的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，便于读者庖丁解牛地理解GBDT。 项目进度： 回归 二分类 多分类 可视化 算法原理以及公式推导请前往blog： 依赖环境 操作系统：Windows/Linux 编程语言：Python3 Python库：pandas、PIL、pydotplus， 其中pydotplus库会自动调用Graphviz，所以需要去下载graphviz的-2.38.msi ，先安装，再将安装目录下的bin添加到系统环境变量，此时如果再报错可以重启计算机。详细过程不再描述，网上很多解答。 文件结构 | - GBDT 主模块文件夹 | --- gbdt.py 梯度提升算法主框架 | --- decision_tree.py 单颗树生成，包括节点划分

机器学习中集成学习的相关案例代码，包含随机森林，GBDTXBoost等理论所所涉及的案例，包含房价预测，宫颈癌预测，分类回归算法,等案例代码。平常多练练，也用于记录一下，学习学习。

基于spark-ml,scala实现gbdt 算法，附带libsvm训练集和普通训练集实现，GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。GBDT 也是 Boosting 算法的一种，但是和 AdaBoost 算法不同（AdaBoost 算法上一篇文章已经介绍）；区别如下：AdaBoost 算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；GBDT 也是迭代，但是 GBDT 要求弱学习器必须是 CART 模型，而且 GBDT 在模型训练的时候，是要求模型预测的样本损失尽可能的小。

股票价格预测-LSTM-TCN-GBDT 使用四种算法（LSTM，TCN，GRU，GBDT）进行股票价格的预测和预测结果的检验。

GBDT原始论文+XGB原始论文+陈天奇 ppt

GBDT作为近年很热门的模型，其性能非常突出，用途也是涵盖了从特征选择到分类、回归，被广大从业者和爱好者所使用。

python实现GBDT的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，庖丁解牛地理解GBDT

第十八章 GBDT模型.ipynb