随着互联网相关技术的高速发展，以及移动客户端的兴起。网上购物已经是现代家庭生活重要组成部分。用户在进行购物的时候会产生大量的访问数据和交易数据，这些数据庞大而且看似杂乱无章，但其中包含着巨大的商业价值。如何高效、准确的获取到其中的商业价值呢？本文采取基于数据挖掘爬虫技术获取电商用户评价数据，同时对获取的数据进行分析关键来完成相关的要求。

kddcup.data_10_percent

KDD CUP99 数据集是从一个模拟的美国空军局域网上采集来的9个星期的网络连接数据,分成具有标识的训练数据和未加标识的测试数据。测试数据和训练数据有着不同的概率分布,测试数据包含了一些未出现在训练数据中的攻击类型,这使得入侵检测更具有现实性。在训练数据集中包含了1种正常的标识类型normal和22种训练攻击类型,如表1-1所示。另外有14种攻击仅出现在测试数据集中。

微博推荐数据集kddcup2012-track1

KDD 2018滴滴派单算法论文。 We present a novel order dispatch algorithm in large-scale on- demand ride-hailing platforms. While traditional order dispatch approaches usually focus on immediate customer satisfaction, the proposed algorithm is designed to provide a more efficient way to optimize resource utilization and user experience in a global and more farsighted view. In particular, we model order dispatch as a large-scale sequential decision-making problem, where the decision of assigning an order to a driver is determined by a centralized algo- rithm in a coordinated way. The problem is solved in a learning and planning manner: 1) based on historical data, we first summarize demand and supply patterns into a spatiotemporal quantization, each of which indicates the expected value of a driver being in a particular state; 2) a planning step is conducted in real-time, where each driver-order-pair is valued in consideration of both immedi- ate rewards and future gains, and then dispatch is solved using a combinatorial optimizing algorithm. Through extensive offline experiments and online AB tests, the proposed approach delivers remarkable improvement on the platform’s efficiency and has been successfully deployed in the production system of Didi Chuxing.

ＫＤＤ－ＣＵＰ是公认的数据处理领域内的最高水平的赛事之一，竞赛所用数据往往被数据挖掘初学者用作数据处理训练之用。这是２００９年ＫＤＤ－ＣＵＰ竞赛所使用数据的ｓｍａｌｌ版，非常适合初学者使用。仅供分享

kddtrain2018.txt：100 predictive attributes A1,A2,...,A100和一个类标C，每一个属性是介于0～1之间的浮点数，类标C有三个可能的{0，1，2}，给定的数据文件有101列，6270行。 kddtest2018.txt：500行

将KDD99数据集中的符号性变成数值化，编程语言是Python; KDD数据集的每条连接记录是有38个数字特征和3个符号型特征组成，要相对数据进行处理首先要进行数据的标准化。符号型特征数值化。采用属性映射的方法

入侵检测数据集包含所有内容，同时还包含介绍和下载官网网址，需要的可以下载一下。

NSL-KDD是KDD Cup 1999数据集的重采样版本，training set和test set分别采用(125973, 41) 和(22544, 41)的数据。在training set中，normal : abnormal = 67343 : 58630,解决了KDD99中类别不均衡的问题。