一、集成算法思想二、XGBoost基本思想三、MacOS安装XGBoost四、用python实现XGBoost算法在竞赛题中经常会用到XGBoost算法，用这个算法通常会使我们模型的准确率有一个较大的提升。既然它效果这么好，那么它从头到尾做了一件什么事呢？以及它是怎么样去做的呢？我们先来直观的理解一下什么是XGBoost。XGBoost算法是和决策树算法联系到一起的。在决策树中，我们知道一个样本往左边分或者往右边分，最终到达叶子结点，这样来进行一个分类任务。其实也可以做回归任务。看上面一个图例左边：有5个样本，现在想看下这5个人愿不愿意去玩游戏，这5个人现在都分到了叶子结点里面，对不同的叶子结

一、机器学习的分类： 监督学习（supervised learning）：线性回归，逻辑回归，KNN，神经网络，决策树，集成学习，SVM，贝叶斯，协同过滤，LDA 无监督学习（unsupervised learning）：聚类、关联规则，PCA降维 …… 二、机器学习中主要解决问题包括：分类，回归，聚类，降维 ……

文章目录一瞥一、集成算法思想二、XGBoost基本思想三、MacOS安装XGBoost四、用python实现XGBoost算法五、xgboost的优化：六、xgboost的优势：1、正则化2、并行处理3、高度的灵活性4、缺失值处理5、剪枝6、内置交叉验证7、在已有的模型基础上继续七、常用API 介绍1.数据接口 Data Interface2. 参数设置Setting Parameters3.开始训练Training 保存模型4.提前停止Early Stopping5.预测Prediction 使用早停进行预测6.绘图Plotting八、代码实践 在竞赛题中经常会用到XGBoost算法，用这个

哈工大 2008，2010，2014，2017，2019年硕士《机器学习》真题，配合博文食用，备考无压力，没积分的可以私信我

这是很全的机器学习理论的知识，是最好的自学机器学习的速查文档和速学方式，里面的内容涵盖机器学习的很多领域，从机器学习面试题集锦，到特征工程，正则等基础知识，到sklearn，spark等分布式，从线性回归，逻辑回归，决策树，朴素贝叶斯，adaboost，xgb，lightgbm，GBDT等主流的监督学习算法，到聚类，pca等非监督学习算法，从推荐系统到关联分析，svd等。最后一个OTO实战。 希望能够帮助到自学机器学习的小伙伴。

基于机器学习理论的机械故障诊断方法综述.pdf

1、线性回归，岭回归，Lasso回归，局部加权线性回归 2、logistic回归，softmax回归，最大熵模型 3、广义线性模型 4、Fisher线性判别和线性感知机 5、三层神经网络 6、支持向量机

1、层次聚类 2、原型聚类-K-means 3、模型聚类-GMM 4、EM算法-LDA主题模型 5、密度聚类-DBSCAN 6、图聚类-谱聚类

1、决策树 ID3，C4.5，CART 2、随机森林RF 3、Adaboost 4、GBDT 5、XGboost 6、孤立森林（异常检测）

人工智能机器学习理论.pdf