IDS-KDDcup 检测网络流的异常连接（KDD-cup 99） 了解数据 尝试找出什么是数据集的不同类 在将字符串值映射到数字并将所有类别划分为正常和异常之后 准备数据 功能重连 PCA 入侵检测系统 朴素的贝叶斯 随机森林 逻辑回归 决策树 SVC 比较算法

Yet Another KDD Cup 2015 Solution Based on Final result Public board This leaderboard calculates scores by about 50% of the test data. AUC score: 0.8874428893001793 Rank: #89 Private board AUC score: 0.8867360110438458 Rank: #86 TODO 加特征 加数据：最多可以到depth=4 feature selection 观察预测错了的instance 尝试深度学习model， kNN GBDT: min_samples_leaf, max_depth ... RF: min_samples_leaf, max_depth ... AdaBoost(with LR/SVC

smote的matlab代码kdd-cup-99-python 使用 python、scikit-learn 和 matplotlib 对原始 kdd cup 99 网络入侵检测数据集的 10% 子集进行分析和预处理。 线性可分性测试 使用 Convex-Hull 方法测试各种攻击类型的线性可分性。 正常类和两种最常见的攻击类型海王星和蓝精灵的船体边界之间的交集在前两个主成分的二维图中可视化。 这样就可以证明不同的攻击类别是非线性可分的。 使用 SMOTE 和 Cluster-Centroids 重采样 为了减轻预处理中描述的高级不平衡，将众所周知的重采样技术应用于原始数据集。 欠采样是通过使用 Cluster Centroids 方法实现的。 因此，数据基于聚类方法按相似性分组，总体目标是尽可能避免任何信息丢失。 过采样基于合成少数过采样技术 (SMOTE)。 在此技术中，点是从少数类中随机挑选的，并通过向它们附加 k 最近邻来综合丰富。 许可 版权所有 (c) 2019，Timea Magyar 保留所有权利。 如果满足以下条件，则允许以源代码和二进制形式重新分发和使用，无论是否修

KDD CUP98 的数据集，下面是数据集的部分数据： CONTROLN,TARGET_B,TARGET_D 3,0,0 6,0,0 9,0,0 11,0,0 16,0,0 19,0,0 20,0,0 23,0,0 24,0,0 25,1,25 28,0,0 29,0,0 30,0,0 31,0,0 33,0,0 34,0,0 35,0,0 36,0,0 39,0,0 42,0,0 44,0,0 45,0,0 47,0,0 49,0,0 50,1,10 57,1,8 58,0,0 59,0,0 61,0,0 62,0,0 63,0,0 64,0,0 68,0,0 69,0,0

KDD Cup 1999数据集特征含义

”KDD CUP 99 dataset ”就是KDD竞赛在1999年举行时采用的数据集。

KDDCup99的原始数据来自于1998年的DARPA入侵检测评估项目，所有的网络数据来自于一个模拟的美国空军局域网，网络中加了很多模拟的攻击。实验的训练数据为7周的网络流量，这些网络流量包含有约500万条网络连接;实验的测试数据为2周的网络流量，包含有约200万条网络连接。虽然年代有些久远，但KDD99数据集仍然是网络入侵检测领域的事实Benckmark，为基于计算智能的网络入侵检测研究奠定基础。

在网络安全框架中，入侵检测是基准测试之一，并且是保护PC免受许多线程侵害的基本方法。 入侵检测中的巨大问题以大量的虚假警报表示。 这个问题激发了一些专家来发现根据数据挖掘来减少错误警报的解决方案，这是在大数据（例如KDD CUP 99）中使用的分析过程的考虑因素。本文对处理入侵检测中的错误警报的各种数据挖掘分类进行了综述。 。 根据测试结果，在KDD CUP 99上进行数据挖掘的许多过程中，没有任何一个过程可以准确地显示所有攻击类别，并且没有错误警报。 多层感知器的最佳精度为92％； 但是，在基于规则的模型中，最佳训练时间是4秒。 结论是，应使用各种程序来处理几种网络攻击。

入侵检测 使用各种数据挖掘技术的入侵检测（KDD Cup 1999数据） 数据集位于 使用的技术： K均值（K = 59） 准确度93.077％ 精确 召回 F1分数 支持 攻击。 0.95 0.96 0.96 250436 正常。 0.83 0.80 0.82 60593 平均/总计 0.93 0.93 0.93 311029 决策树 准确度92.956％ 精确 召回 F1分数 支持 攻击。 1.0 0.91 0.95 250436 正常。 0.74 0.99 0.85 60593 平均/总计 0.95 0.93 0.93 31

哇〜！ KDD的其他竞争对手。 我在第一天参加了这项比赛，很快就建立了一个合理的基准。 由于某些私人方面的原因，自5月初以来，我几乎停止改善自己的解决方案。 尽管与第2阶段的许多顶级参与者相比，我的方法不能很好地发挥作用，但是我认为我的解决方案由于相对简单而值得共享。 我一点也没有接触过meo数据，我的一个模型只是计算中位数。 替代数据源 对于新每小时的空气质量数据，在论坛上为共享，我使用伦敦和对北京而不是从组织者的API。 处理丢失的数据 我通过3个步骤填充了空气质量数据中的缺失值： 根据其他测站的值填充测站组合的缺失值。 具体来说：我为此训练了131个lightgbm回归器。 如果北京奥特中信站5月20日2:00的PM2.5读数丢失，则回归器aotizhongxin_aq-PM2.5将基于5月20日2:00已知的北京其他34个站的PM2.5读数来预测该值。 我使用阈值来决定是否进行这