Boosting 方法的主要⽬标是将弱分类器“提升” 为强分类器,根据前⼀个弱分类器的训练效果对样本分布进行调整,再根据新的样本分布训练下⼀个弱分类器,如此迭代,最后将⼀系列弱分类器组合成⼀个强分类器。
XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型,所以它是将许多树模型集成在一起,形成一个很强的分类器。
手写xgboost算法,几乎实现xgboost的所有算法,之中有与xgboost库进行比较xgboos的性能和方法,结果是差不多的,达到了预期的要求,简单的数据集也放在了上面。
并且这之中包括详细的注释,也包括了很多有关于xgboost的原理,是我手写xgboost算法之中做的一些记录和笔记,这里面也有对数据集的种种可视化,数据集也在文件里面。