模式识别和机器学习实战- 集成学习- Python实现 - AdaBoost算法 适用于刚刚开始学习机器学习的小伙伴进行的上机实践，本次压缩包的内容是集成学习的AdaBoost算法的代码以及数据集。

感谢JetBrains提供IDEA与DataGrip软件支持 的github :link: 吉蒂 :link: 此项目依赖于公共组件LazyerStarter 先将lazyer那个项目克隆下来，再在lazyer项目下执行mvn clean install -Dmaven.test.skip=true将lazyer组件安装到本地maven仓库，再启动此项目即可（需要修改数据库账号密码） git添加多远程仓库 git remote set-url --add origin git@github.com:FutaoSmile/springbootFramework.git ＃配合配套文章食用更加哦〜

前面博客分享，我们已经讲解了不少分类算法，有knn、决策树、朴素贝叶斯、逻辑回归、svm。我们知道，当坐重要决定时，大家可能都会考虑吸取多个专家而不是一个人的意见。机器学习处理问题时同样如此。集成学习（ensemblelearning)通过构建并结合多个学习器来完成学习任务，有时被称为多分类器学习系统、基于委员会的学习等。下图显示出集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们结合起来。我们前面已经分享了五种不同的分类算法，我们可以将其用不同的分类器组合起来，这种组合结果则被称为集成方法或者元算法。使用集成方法时会有多种形式：1.集成中只包含同种类型的个体学习器，这种个体学习

在集成学习中，行为知识空间方法BKS穷举各子分类器识别结果的各种组合，然后统计各种组合的识别情况。一个行为知识空间是指一个k维空间，其中每一维代表一个分类器的决策。基于BKS空间的融合不需要对分类器之间的独立性做出假设，但却是以牺牲存储空间为代价的，并且需要大量的训练样本。本毕设将对BKS方法各方面的特点和性能加以分析，并用于解决实际问题，需要机器学习和模式识别的相关基础知识。

python集成学习XGboost安装步骤（自己测试确保能安装）

集成学习则是机器学习的首要热门方向[1]。集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法．

本文来自于博客园，本文主要使用机器学习算法来将个体机器学习器的结果结合在一起，这个方法就是Stacking，希望对您的学习有所帮助。 Ensemblelearning中文名叫做集成学习，它并不是一个单独的机器学习算法，而是将很多的机器学习算法结合在一起，我们把组成集成学习的算法叫做“个体学习器”。在集成学习器当中，个体学习器都相同，那么这些个体学习器可以叫做“基学习器”。个体学习器组合在一起形成的集成学习，常常能够使得泛化性能提高，这对于“弱学习器”的提高尤为明显。弱学习器指的是比随机猜想要好一些的学习器。在进行集成学习的时候，

近几十年来，人们生活水平显著提高，但是健康意识依旧薄弱，不良的生活习惯和饮食习惯导致糖尿病发病人数急剧增加，由糖尿病导致的各种并发症严重威胁了人们的健康.由于糖尿病具有知晓率低的特点，很多糖尿病患者未能及时发现病症，导致出现并发症.本文通过分析糖尿病的特点，针对医疗数据样本量小、容易缺失的特点，选择IV值分析进行特征选择、使用一种新型的Boosting算法CatBoost进行糖尿病患者预测，取得了显著的预测效果.

集成学习是通过集成多个基分类器共同决策的机器学习技术,通过不同的样本集训练有差异的基分类器,得到的集成分类器可以有效地提高学习效果。在基分类器的训练过程中,可以通过代价敏感技术和数据采样实现不平衡数据的处理。由于集成学习在不平衡数据分类的优势,针对不平衡数据的集成分类算法得到广泛研究。详细分析了不平衡数据集成分类算法的研究现状,比较了现有算法的差异和各自存在的优点及问题,提出和分析了有待进一步研究的问题。

数据分布的不平衡性和数据特征的非线性增加了分类的困难，特别是难以识别不平衡数据中的少数类，从而影响整体的分类效果。针对该问题，结合KFDA（kernel Fisher discriminant analysis）能有效提取样本非线性特征的特性和集成学习中Boosting算法的思想，提出了KFDA-Boosting算法。为了验证该算法对不平衡数据分类的有效性和优越性，以G-mean值、少数类的查准率与查全率作为分类效果的评价指标，选取了UCI中10个数据集测试KFDA-Boosting算法性能，并与支持向量机等六种分类算法进行对比实验。结果表明，对于不平衡数据分类，尤其是对不平衡度较大或呈非线性特征的数据，相比于其他分类算法，KFDA-Boosting算法能有效地识别少数类，并且在整体上具有显著的分类效果和较好的稳定性。