基于不平衡数据的Python_Health-Insurance-交叉销售预测 在该项目中,我们将现代机器学习技术应用于保险单持有人的数据,以分析和预测其行为。 使用Python语言,我们对数据的处理方法产生了令人兴奋的见解,可以帮助保险公司进行业务建模。
2023-03-17 18:20:03 6.05MB JupyterNotebook
1
smote的matlab代码ND DIAL:不平衡算法 用于不平衡学习的基于 Python 的极简算法实现。 包括深度和表征学习算法(通过 TensorFlow 实现)。 下面是当前实现的方法的列表。 欠采样 带/不带替换的随机多数欠采样 过采样 SMOTE - 合成少数过采样技术 DAE - 去噪自编码器 ( TensorFlow ) GAN - 生成对抗网络 ( TensorFlow ) VAE - 变分自动编码器( TensorFlow ) 集成采样 RAMOBoost RUSBoost SMOTEBoost 参考: : NV Chawla、KW Bowyer、LO Hall 和 P. Kegelmeyer。 “SMOTE:合成少数过采样技术。” 人工智能研究杂志 (JAIR),2002。 :P. Vincent、H. Larochelle、I. Lajoie、Y. Bengio 和 P.-A. 曼扎戈尔。 “堆叠降噪自动编码器:在具有局部降噪标准的深度网络中学习有用的表示”。 机器学习研究杂志 (JMLR),2010 年。 :IJ Goodfellow、J. Pouget-Ab
2022-10-08 10:58:36 28KB 系统开源
1
MapReduce 使用 Hadoop 实现随机过采样、随机欠采样和“合成少数过采样技术”(SMOTE)算法 大数据的随机过采样:MapReduce 的近似 随机过采样 (ROS) 算法已适应于遵循 MapReduce 设计来处理大数据,其中每个 Map 进程负责通过少数类实例的随机复制来调整映射器分区中的类分布,Reduce 进程负责收集每个映射器生成的输出以形成平衡数据集。 该过程如图 1 所示,包括四个步骤:初始、映射、缩减和最终。 图 1:ROS MapReduce 设计如何工作的流程图。 大数据的随机欠采样:按照MapReduce程序选择样本 适用于处理大数据的随机欠采样 (RUS) 版本遵循 MapReduce 设计,其中每个 Map 进程负责按类对其数据分区中的所有实例进行分组,Reduce 进程负责收集每个映射器的输出并平衡通过随机消除多数类实例来形成平衡数据集的类分布。
2022-04-07 14:50:47 501KB Java
1
smote的matlab代码 实验室 | 不平衡的数据 我们将使用files_for_lab/customer_churn.csv数据集来构建流失预测器。 指示 加载数据集并探索变量。 我们将尝试使用变量tenure 、 SeniorCitizen 、 MonthlyCharges的逻辑回归来预测变量Churn 。 提取目标变量。 提取自变量并对其进行缩放。 构建逻辑回归模型。 评估模型。 即使是一个简单的模型也会给我们超过 70% 的准确率。 为什么? 合成少数过采样技术(SMOTE)是一种基于最近邻的过采样技术,它在现有点之间添加新点。 将imblearn.over_sampling.SMOTE应用于数据集。 构建和评估逻辑回归模型。 有什么改善吗? Tomek 链接是一对非常接近的实例,但属于相反的类。 删除每对多数类的实例会增加两个类之间的空间,从而促进分类过程。 将imblearn.under_sampling.TomekLinks应用于数据集。 构建和评估逻辑回归模型。 有什么改善吗?
2022-01-03 12:46:31 165KB 系统开源
1
smote的matlab代码使用不平衡数据进行机器学习 - 代码库 2020 年 11 月出版 链接 目录 指标 精度的限制 精度、召回率、F-Measure 混淆矩阵 假阳性率和假阴性率 几何平均数 支配地位 不平衡精度指标 ROC-AUC 精确召回曲线 概率分布和校准 要优化的指标 欠采样方法 随机欠采样 浓缩最近邻 托梅克链接 单面选择 编辑最近的邻居 重复编辑最近邻 所有 KNN 邻里清洁规则 有惊无险 实例硬度阈值 过采样方法 随机过采样 ADASYN SMOTE BorderlineSMOTE KMeansSMOTE 斯莫腾 SVMSMOTE 过采样和欠采样方法 斯摩腾 SMOTETomek 集成方法 即将推出 成本敏感学习 成本类型 获取成本 误分类成本 贝叶斯风险 元成本 概率校准 概率校准曲线 Brier 分数 欠采样和过采样对概率校准的影响 成本敏感学习和概率校准 校准分类器
2021-12-29 13:02:14 6.25MB 系统开源
1
集成学习是通过集成多个基分类器共同决策的机器学习技术,通过不同的样本集训练有差异的基分类器,得到的集成分类器可以有效地提高学习效果。在基分类器的训练过程中,可以通过代价敏感技术和数据采样实现不平衡数据的处理。由于集成学习在不平衡数据分类的优势,针对不平衡数据的集成分类算法得到广泛研究。详细分析了不平衡数据集成分类算法的研究现状,比较了现有算法的差异和各自存在的优点及问题,提出和分析了有待进一步研究的问题。
1
用于不平衡学习的SMOTE变量 介绍 该软件包实现了综合少数族裔过采样技术(SMOTE)的85个变体。 除了实现之外,还提供了易于使用的模型选择框架,以能够对未见数据集的过采样技术进行快速评估。 所实现的技术: [Borderline_SMOTE1] , [Borderline_SMOTE2] , [ADASYN] , [AHC] , [LLE_SMOTE] , [distance_SMOTE] , [单加氧酶] , [polynom_fit_SMOTE] , [Stefanowski ] , [ADOMS] , [Safe_Level_SMOTE] , [MSMOTE] , [DE_oversampling] , [SMOBD] , [SUNDO] , [MSYN] , [SVM_balance] , [TRIM_SMOTE] , [SMOTE_RSB] , [ProWSyn]
1
加拿大机动车碰撞(1999-2017) 在现实世界的数据集中,类不平衡是一个普遍的问题。 当一个类别(称为多数或否定类别)远远超过另一类别(称为少数或肯定类别)时,就会出现不平衡的数据集。 当正类是关注类时,就会出现类不平衡问题。 我们已经获得了具有固有的不平衡类问题的机动车碰撞的真实世界数据集。 数据集信息: 探索性数据分析 项目目标 了解加拿大公共道路上致命事故的原因,例如车辆型号,年龄段,道路状况等。 建立机器学习预测模型以对致命和非致命碰撞进行分类。 练习技巧 在这个项目中,我们将学习以下技能 数据清理 探索性数据分析 学习不平衡和成本敏感的方法 欠采样 综合少数采样技术(SMOTE) 高级分类模型,例如随机森林分类器和XGBoost 精确调用(PR)曲线和PR曲线下的面积(AUPR) 接收器工作特性(ROC)曲线和ROC下面积(AUROC)
2021-11-02 15:52:16 7.16MB JupyterNotebook
1
深入研究不平衡回归 该存储库包含纸张的实现代码:。 深度失衡回归(DIR)旨在从具有连续目标的失衡数据中学习, 处理某些区域的潜在缺失数据,并推广到整个目标范围。 超越不平衡分类:DIR简介 从不平衡数据中学习的现有技术集中于具有分类索引的目标,即目标是不同的类别。 但是,许多实际任务涉及连续甚至无限的目标值。 我们系统地研究了深度失衡回归(DIR) ,其目的是从自然失衡数据中学习连续目标,处理某些目标值的潜在缺失数据,并推广到整个目标范围。 我们为计算机视觉,自然语言处理和医疗保健领域中常见的现实世界任务设计和基准化大规模DIR数据集,范围从单值预测(例如年龄,文本相似性得分,健康状况得分到密集值预测)例如深度。 更新 [02/18/2021]发布了。 该代码目前正在清理中。 请随时关注更新。 引文 @article { yang2021delving , title = {
1
不平衡分类 这个 repo 包含我的不平衡分类培训课程的 Python 代码和数据!
2021-09-15 17:15:18 593KB JupyterNotebook
1