这是 ShowMeAI 持续分享的速查表系列！本速查表是《数据科学家知识要点图》。数据科学、机器学习、大数据分析……如果我们想成为一名数据科学家，应该如何开始呢？需要了解哪些工具和技术？ 这份速查表用“地铁图”的可视化方式，描绘了成为数据科学家的学习路径。每个领域表示为一条“地铁线”，内容主题按照序号标示为一个个车站。你可以选择一条线路，搭乘地铁并穿过所有车站（主题），最终到达目的地或者中途切换到下一条线路。

随着互联网尤其是移动互联网、物联网的快速发展，目前我们已处于数据、信息过载的海量信息时代。据数据调查公司IDC研究报告显示：2011年全球被创建和复制的数据总量为1.8ZB，较去年同期，这一数据上涨了1ZB，全球信息总量每过两年就会增长1倍。用户面对海量信息却很难找到自己真正感兴趣的内容[1].同时随着运营商逐渐推出移动互联网产品应用商店、阅读、游戏、社区等产品，如何分析挖掘这些产品生成的海量数据，将成为运营商迫切需要解决的问题。云计算的出现，使得数据挖掘平台有了新的发展方向，也使得新一代的数据挖掘平台成为可能。云计算是能够提供动态资源、虚拟化和高可用的计算平台。云计算平台可被用来开发高性能的

一、上机目的及内容 目的： 1．理解数据挖掘的基本概念及其过程； 2．理解数据挖掘与数据仓库、OLAP之间的关系 3．理解基本的数据挖掘技术与方法的工作原理与过程，掌握数据挖掘相关工具的 使用。 内容： 将创建一个数据挖掘模型以训练销售数据，并使用"Microsoft 决策树"算法在客户群中找出购买自行车模式。请将要挖掘的维度（事例维度）设置 为客户，再将客户的属性设置为数据挖掘算法识别模式时要使用的信息。然后算法将 使用决策树从中确定模式。下一步需要训练模型，以便能够浏览树视图并从中读取模 式。市场部将根据这些模式选择潜在的客户发送自行车促销信息。 要求: 利用实验室和指导教师提供的实验软件，认真完成规定的实验内容，真实地记录实验中 遇到的各种问题和解决的方法与过程，并根据实验案例绘出模型及操作过程。实验完成 后，应根据实验情况写出实验报告。 二、实验原理及基本技术路线图（方框原理图或程序流程图） 关联分析：关联分析是从数据库中发现知识的一类重要方法。 时序模式：通过时间序列搜索出重复发生概率较高的模式。 分类：分类是在聚类的基础上对已确定的类找出该类别的概念描述，代表了这类数据的 整体信息，既该类的内涵描述，一般用规则或决策树模式表示。 三、所用仪器、材料（设备名称、型号、规格等或使用软件） 1台PC及Microsoft SQL Server套件 四、实验方法、步骤（或：程序代码或操作过程）及实验过程原始记录( 测试数据、图表、计算等) 创建 Analysis Services 项目 1. 打开 Business Intelligence Development Studio。 2. 在"文件"菜单上，指向"新建"，然后选择"项目"。 3. 确保已选中"模板"窗格中的"Analysis Services 项目"。 4. 在"名称"框中，将新项目命名为 AdventureWorks。 5. 单击"确定"。 更改存储数据挖掘对象的实例 1. 在 Business Intelligence Development Studio 的"项目"菜单中，选择"属性"。 2. 在"属性页"窗格的左侧，单击"部署"。 3. 在"目标"选项部分，验证数据库名称是否为 localhost。如果使用的是其他实例，请键入该实例的名称。单击"确定"。 创建数据源 1. 在解决方案资源管理器中，右键单击"数据源"文件夹，然后选择"新建数据源"。 系统将打开数据源向导。 2. 在"欢迎使用数据源向导"页面中，单击"下一步"按钮。 3. 在"选择如何定义连接"页上，单击"新建"向 Adventure Works 数据库中添加连接。 系统将打开"连接管理器"对话框。 4. 在"连接管理器"的"提供程序"列表中，选择"本机 OLE DB\Microsoft OLE DB Provider for SQL Server"。 5. 在"服务器名称"列表中，键入或选择承载 AdventureWorksDW 的服务器的名称。 6. 在"登录到服务器"组中，选择身份验证方法，并输入凭据。 7. 在"选择或输入数据库名称"列表中，选择 AdventureWorksDW，再单击"确定"按钮。 8. 单击"下一步"按钮进入向导的下一页。 9. 在"模拟信息"页中，选择"使用服务帐户"，再单击"下一步"。 10. 请注意，在"完成向导"页中，数据源名称默认为 Adventure Works DW。 11. 单击"完成"。 新的数据源 Adventure Works DW 将显示在解决方案资源管理器的"数据源"文件夹中。 创建数据源视图 1. 在解决方案资源管理器中，右键单击"数据源视图"，选择"新建数据源视图"。 系统将打开数据源视图向导。 2. 在"欢迎使用数据源视图向导"页上，单击"下一步"。 3. 在"选择数据源"页的"关系数据源"下，系统将默认选中您在上一个任务中创建的 Adventure Works DW 数据源。 单击"下一步"。 若要创建新数据源，请单击"新建数据源"，启动数据源向导。 4. 在"选择表和视图"页上，选择下列各表，然后单击右箭头键，将这些表包括在新数据源 视图中： dbo.ProspectiveBuyer dbo.vAssocSeqLineItems dbo.vAssocSeqOrders dbo.vTargetMail dbo.vTimeSeries 5. 单击"下一步"。 6. 在"完成向导"页上，默认情况下，系统将数据源视图命名为 Adventure Works DW。 单击"完成"。 系统将打开数据源视图设计器，显示 Adventure Works DW 数据源视图。 创建用于目标邮件方案的挖掘结构 1. 在解决方案资源管理器中，右键单击"

DNS（域名系统）在引导Internet流量方面提供了关键功能。 保护DNS服务器免受带宽攻击是DNS服务提供商的一项重要任务。 传统的基于规则的异常或入侵检测方法无法动态更新规则。 基于数据挖掘的方法能够在海量动态查询流量数据中找到各种模式。 这些模式可以帮助DNS服务提供商实时检测异常。 本文提出了一种新颖的频繁情节挖掘算法，以及一种可以实时检测异常的体积趋势预测方法。 基于查询量时间序列的特征，采用基于密度的聚类方法将多个域名划分为不同的组。 提出了一种一致的情节挖掘方法，以发现查询流量如何在不同域名之间的不同时间“传播”。 实验是对实字DNS日志数据集进行的。 提出了有趣的模式，表明基于数据挖掘的方法在DNS服务领域中是合适且有希望的。

数据挖掘中的一元线性回归简单演示程序，利用了c#winform制作的界面，一目了然，对于数据挖掘初学者有很好的指导作用，一元线性回归的算法其实不难。

WEKA 的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），同时 weka 也是新西兰的一种鸟名，而 WEKA 的主要开发者也来自新西兰。WEKA 作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。如果想自己实现数据挖掘算法的话，可以看一看 weka 的接口文档。在 weka 中集成自己的算法甚至借鉴它的方法自己实现可视化工具并不是件很困难的事情。 Weka 基于 Java 开发，是一款开源且免费的软件，有 Windows 版本，Linux 版本和 Mac OS 版本。在数据源上支持 ARFF文件，这是一种 ASCII 文本文件，CSV 文件和 JDBC 数据库访问功能。 Weka 轻巧便捷，安装简单，非常适合个人用户和中小企业使用。在操作上可以可视化操作无需编程，支持拖拉拽式工作流程使用起来非常方便，但是无论是数据预处理还是算法选择和调参都需要工程师手动完成，因此使用者需要具备一定统计学基础和数据挖掘经验。

python数据挖掘电影评分分析-豆瓣电影数据与票房数据分析.pdf

大数据处理实验 Matplotlib模块对星巴克数据分析及可视化 步骤清晰 如有问题，请反馈！！！

DataMiningCase 流失预警模型（二分类），代码原型为本人在某银行做的流失模型，AUC：83%、召回率（覆盖率）：19.4%，精确率：85%（数据是外部数据/代码已脱敏） 基于真实业务上手数据挖掘（银行流失预警）：数据的处理、LightGBM、sklearn包（里面含有：GridSearchCV寻找最优参、StratifiedKFold分层5折切分、train_test_split单次数据切分等）、stacking模型融合、画AUC图、画混淆矩阵图，并输出预测名单。 告诉你：是什么（WHAT）、怎么做(HOW)、为什么这么做(WHY)。 注释覆盖率为80%左右，旨在帮助快速入门，新手级 项目涉及的如下： 商业理解 数据理解 数据处理（数据准备） 特征工程（数据准备） 正负样本特征线性图 RFECV（特征五折递归消除） Importan

前面的部分中，我们已经看到了RapidMiner Studio图形用户界面是如何建立起来的，以及如何用它来定义和执行分析流程。在流程的最后，流程结果会显示在结果视图中。现在在工具栏上点击一下就能跳转到结果视图了。这一章会详细阐述结果视图。依据您是否已经生成了可被描述的结果，在默认设置前提下，您现在应该至少能大致看到这些显示内容，如图4.1所示。