异常值检测对于构建高度预测​​模型至关重要。 在这项研究中,我们通过建立基于确定正常样本的交叉预测模型并单独分析可疑样本的预测误差分布,提出了一种增强的蒙特卡罗异常值检测(EMCOD)方法。
2021-11-15 22:09:00 73KB matlab
1
matlabk基于近邻的离群点检测代码莫夫 一种新的基于子结构的局部异常检测算法 摘要:已经提出了许多局部异常值检测技术来识别有意义的局部异常值,宝贵的研究通常使用 k-最近邻来量化局部邻域(kNN 邻域)并设计异常值评分函数。 然而,kNN 邻域不能准确表达呈现非球面分布的数据集的局部特征。 此外,评分函数基于一个潜在的假设,即观察的所有参考邻居都是正常的,这通常会导致低检测性能。 此外,基于 kNN 的方法通常对 k 敏感。 为了解决这些问题,提出了局部邻域和离群点评分函数的新定义,分别命名为k个节点的最小旋转树(k-MST)和基于k-MST的离群点因子(kMOF)。 k-MST对数据没有特殊要求,对k不敏感,接近的数据点可以共享同一个k-MST。 与传统的评分函数不同,kMOF 对每个子结构而不是数据集的每个数据点进行评分。 基于这些新设计,所提出的算法对于检测异常值和异常值组非常有效,并且具有提高效率的潜力。 在合成数据集和真实数据集上的实验结果表明,所提出的算法是有效且稳健的。 %%%%%%%%%%%%%%%%%%%%%%% MATLAB 2013a 及更高版本支持此代码。
2021-11-10 20:26:51 135KB 系统开源
1
异常检测必读图书,全面介绍异常检测常用方法,包括统计学方法,机器学习方法等等
2021-11-02 11:54:51 5.38MB Anoma 异常检测 离群点检测
1
空气质量指数(Air Quality Index, AQI)预测可以为人们日常生产活动以及空气污染治理工作提供指导. 针对空气质量指数预测模型受离群点影响较大的问题, 利用孤立森林算法对空气质量数据集进行离群点分析, 采用离群鲁棒极限学习机模型(ORELM)对空气质量指数进行预测, 并构建误差修正模块对模型预测误差进行修正. 最后, 以北京市空气质量数据作为研究对象, 分别利用ORELM模型以及极限学习机(ELM)模型进行预测, 并对ORELM模型预测结果进行误差修正. 实验结果表明: 离群鲁棒极限学习机对离群点数据集泛化性能更强, 误差修正模块能有效提高模型的预测精度.
1
图 18.12 全局离群点检测气泡图 “Local Outlier Factor”基于本地的离群点检测操作符,操作流程如图 18.13,检测结果如图 18.13 图 18.13 离群点检测操作流程
2021-08-26 09:48:14 6.46MB RapidMiner
1
基于离群点检测的不确定数据流聚类算法研究.pdf
2021-08-19 09:21:18 3.56MB 聚类 算法 数据结构 参考文献
行业分类-物理装置-一种基于子空间的离群点检测算法.zip
小结 本章主要根据数据挖掘的应用分类,重点介绍了对应的数据挖掘建模方 法及实现过程。通过对本章的学习,可在以后的数据挖掘过程中采用适 当的算法并按所陈述的步骤实现综合应用,更希望本章能给读者一些启 发,思考如何改进或创造更好的挖掘算法。 归纳起来,数据挖掘技术的基本任务主要体现在分类与预测、聚类、关 联规则、时序模式、离群点检测五个方面。 5.1分类与回归主要介绍了决策树和人工神经网络两个分类模型、回归分 析预测模型及其实现过程; 5.2聚类分析主要介绍了K-Means聚类算法,建立分类方法按照接近程度 对观测对象给出合理的分类并解释类与类之间的区别; 小结 5.3关联规则主要介绍了Apriori算法,以在一个数据集中找出各项之间的 关系; 5.4时序模式从序列的平稳性和非平稳型出发,对平稳时间序列主要介绍 了ARMA模型,对差分平稳序列建立了ARIMA模型,应用这两个模型对 相应的时间序列进行研究,找寻变化发展的规律,预测将来的走势; 5.5离群点检测主要介绍了基于模型和离群点的检测方法,是发现与大部 分其他对象显著不同的对象。 前5章是数据挖掘必备的原理知识,并为本书后面章节的案例理解和实验 操作奠定了理论基础。
用C++实现机器学习的LOF算法进行离群点检测。类中lof.LOFclassification(feadata,5,0.90,labels);第一个参数为特征矩阵,第二个参数是lof中点的个数,第三个参数为正常点的比例,第四个参数为输出的分类结果。
2021-07-17 11:23:17 2KB C++ LOF 离群点检测
1
在matlab里,使用k临近距离判断点云是否为离群点,予以去除。
2021-05-11 17:50:56 414B matlab 点云 k临近
1