用NumPy和Pandas做数据分析实战

【项目01】 商铺数据加载及存储 文件可以在–我的资源列表免费下载 1.作业要求： 1、成功读取“商铺数据.csv”文件 2、解析数据，存成列表字典格式：[{‘var1’:value1,‘var2’:value2,‘var3’:values,…},…,{}] 3、数据清洗： ① comment，price两个字段清洗成数字 ② 清除字段缺失的数据 ③ commentlist拆分成三个字段，并且清洗成 4、结果存为.pkl文件 2.商铺数据情况 用excl打开 用记事本打开 完整代码为： import os os.chdir('D:/桌面/') f = open('商铺数据.csv','r

CDAlevel1-数据分析实战参考

企业经营最大的目的就是盈利，而餐饮业企业盈利的核心就是其菜品和顾客，也就是其提供的产品和服务对象。企业经营者每天都在想推出什么样的菜系和种类会吸引更多的顾客，究竟各种顾客各自的喜好是什么，在不同的时段是不是有不同的菜品畅销，当把几种不同的菜品组合在一起推出时是不是能够得到更好的效果，未来一段时间菜品原材应该采购多少…… T餐饮的经营者想尽快地解决这些疑问，使自己的企业更加符合现有顾客的口味，吸引更多的新顾客，又能根据不同的情况和环境转换自己的经营策略。T餐饮在经营过程中，通过分析历史数据，总结出一些行之有效的经验：  在点餐过程中，由有经验的服务员根据顾客特点进行菜品推荐，一方面可提高菜品的销量，另外一方面可减少客户点餐的时间和频率，提高用户体验；  根据菜品历史销售情况，综合考虑节假日、气候和竞争对手等影响因素，对菜品销量进行预测，以便餐饮企业提前准备原材料；  定期对菜品销售情况进行统计，分类统计出好评菜和差评菜，为促销活动和新菜品推出提供支持；  根据就餐频率和金额对顾客的就餐行为进行评分，筛选出优质客户，定期回访和送去关怀。 上述措施的实施都依赖于企业已有业务系统中保存的数据，但是目前从这些数据中获得有关产品和客户的特点以及能够产生价值的规律更多依赖于管理人员的个人经验。如果有一套工具或系统，能够从业务数据中自动或半自动地发现相关的知识和解决方案，这将极大地提高企业的决策水平和竞争能力。这种从数据中“淘金”，从大量数据（包括文本）中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程，就是数据挖掘；它是利用各种分析工具在大量数据中寻找其规律和发现模型与数据之间关系的过程，是统计学、数据库技术和人工智能技术的综合。 这种分析方法可避免“人治”的随意性，避免企业管理仅依赖个人领导力的风险和不确定性，实现精细化营销与经营管理。

RapidMiner Studio 结合技术性和适用性，为最新的及已建立的人性化数据挖掘技术提供服务。通过推拽算子，设置参数及组合算子，在RapidMiner Studio中定义分析流程。 正如我们将在下面看到的，流程能从大量的随机的可嵌套的算子中产生，最终表示为所谓的流程图（流程设计）。流程结构由内部的XML来描述，通过图形用户界面来开发。在后台，RapidMiner Studio 不断地检查当前流程开发状态，确保语法一致，并在问题出现时，能自动推荐解决方案。以上功能是通过所谓的元数据转换实现的，即在流程设计阶段转换基础元数据，预知流程开发结果，并在出现不合适的算子组合时确定解决方案（快速修复）。此外，RapidMiner Studio也能定义断点，因此能检查几乎所有的中间结果。成功组合的算子会被合并到构建模块中，因此在后期流程中它们还能被再次使用。 RapidMiner Studio包含了1500多个专业数据分析流程：从数据划分到以市场为基础的分析，再到属性生成，它包含了所有您需要的数据挖掘工具。同时也包含了文本挖掘，网页挖掘，对来自网络论坛的信息的自动情感分析（情感分析，观点挖掘）及时间序列分析，并能作出预测。 RapidMiner Studio为我们提供了强大的视觉化功能，例如三维图，散列矩阵和自组织地图等。在RapidMiner Studio里，您能够把您的数据转换为完全可定制的可输出的图表，并且支持缩放、移动及调整功能，以求最优化视觉效果。

在上一个章节，我们熟悉了RapidMiner Studio图形用户界面的基本组成部分，例如透视图及视图，并讨论了RapidMiner Studio的设计透视图的最重要的一些方面。现在为了定义和执行一个原始的简单的分析流程，我们需要使用新的功能。您很快会发现RapidMiner的这项功能是多么的使用，您不需要在每次修改了流程以后都要执行一下新流程以确定修改后的效果。但是，这项功能可不仅仅只有这些好处。 3.1 创建一个新流程 不管是在透视图主页选择“新建”选项，还是点击RapidMiner Studio主工具栏左边的“新建”图标，还是进入“文件”菜单，都可以新建一个分析流程，以供接下来的使用。 提示：我们建议您把新建的流程保存在您的资源库中。 3.2资源库的选项功能 原则上，您可以完全自由的组建您的资源库。在资源库浏览器及资源库视图中的条目快捷菜单中，您会发现管理数据和流程所必须的所有条目，如图3.1所示。

前面的部分中，我们已经看到了RapidMiner Studio图形用户界面是如何建立起来的，以及如何用它来定义和执行分析流程。在流程的最后，流程结果会显示在结果视图中。现在在工具栏上点击一下就能跳转到结果视图了。这一章会详细阐述结果视图。依据您是否已经生成了可被描述的结果，在默认设置前提下，您现在应该至少能大致看到这些显示内容 或者，您可以在“View（视图）”菜单中=“Restore Default Perspective（恢复默认透视图）”这一选项重新建立这个预设透视图。在介绍过的设计透视图之后，结果透视图是RapidMiner Studio的第二个主要工作环境。我们已经讨论了右侧的资源库视图，因此这一章节我们会关注视图的其他组成部分。 4.1结果可视化 我们已经看到了在流程执行完成后，流程中右侧结果端口的结果会自动显示在结果视图中。结果视图中左上角的大部分会被用到，那里显示了分析结果概述，在这一章节的结尾我们会讨论这些分析结果。 目前每一个打开的和显示的结果都会在这一区域以一个附加标签显示，如图4.2所示。严格来说，每个结果都是一个视图，像以往一样，您可以随心所欲的移动这些视图。这样的

表格，数据，文本集，日志，网址，测量值---这些以及其它类似的信息是每一个数据挖掘流程在一开始就要用到的。准备好的数据会被转化并合并，最后您会得到一个新的或是以不同方式显示出来的数据、模型或报告。在这一章我们会为您介绍如何用RapidMiner Studio处理这些信息。 5.1RapidMiner Studio的资源库 一旦您收集的流程及相关文件超过了一定的大小，您会发现RapidMiner会智能化的以一个一致的结构化的方式存储这些信息。其中一种可能性是以文件夹的形式存储流程。文件夹会根据流程分类，每一个流程的文件夹有一个目录，目录里面包含了输出数据，中间结果，报告等信息。 系统化、结构化地存储流程是个明智的选择，只有在极少的情况下我们会推荐选用普通的文件夹系统存储流程，因为普通文件夹存储系统很难满足数据挖掘方案的需求。因为不同的原因，例如机密性或者存储空间有限，会导致不能在本地电脑上创建文档。如果要在一个远程服务器上执行一个在本地电脑上创建的流程，就需要进行手动操作，例如复制流程及调整路径。创建流程，操作数据及评估分析结果都需要一个外部的权限和版本管理。以不同的格式存储的文件需要正确的参数设置，例如分隔符、新下载数据的代码。中间结果和流程变量的数量增长很快，这意味着您很容易就会无法跟踪这些数据。下载和查看数据，重新了解一下概况，这可能需要一个很长的流程甚至需要运行一个外部应用。文件注解能够让您更容易的掌控这些数据信息，但是普通的文件系统不支持这个功能。 RapidMiner应对所有这些问题的方法是资源库，它存储了所有的数据和流程。虽然我们也能从资源库以外的地方提取数据到流程中，但是外部提取数据需要运行外部流程等，而资源库可以为您提供很多便利：  结构化的数据、流程、分析结果和报告的存储位置说明了它们间相互关系，这些相互关系完全透明化的展现在用户面前。  不需要其他设置，您就可以打开或下载文件。只需点击一下，您就可以打开、查看数据或提取数据到流程中。您能够看到存储数据的概况，在不需要逐个打开这个文件的前提下，您可以随时为这些数据赋予特征、做上标记。

根据观测、调查收集到初步的样本数据集后，接下来要考虑的问题是：样本数据集的数量和质量是否满足模型构建的要求？有没有出现从未设想过的数据状态？其中有没有什么明显的规律和趋势？各因素之间有什么样的关联性？ 通过检验数据集的数据质量、绘制图表、计算某些特征量等手段，对样本数据集的结构和规律进行分析的过程就是数据探索。数据探索有助于选择合适的数据预处理和建模方法，甚至可以完成一些通常由数据挖掘解决的问题。 本章从数据质量分析和数据特征分析两个角度对数据进行探索。 6.1 数据质量分析 数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础，没有可信的数据，数据挖掘构建的模型将是空中楼阁。 数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。在常见的数据挖掘工作中，脏数据包括：  缺失值  异常值  不一致的值  重复数据及含有特殊符号（如#、￥、*）的数据 本小节将主要对数据中的缺失值、异常值和一致性进行分析。 6.1.1缺失值分析 数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确，以下从缺失值产生的原因及影响等方面展开分析。 （1） 缺失值产生的原因 1） 有些信息暂时无法获取，或者获取信息的代价太大。 2） 有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的

在数据挖掘中，海量的原始数据中存在着大量不完整（有缺失值）、不一致、有异常的数据，严重影响到数据挖掘建模的执行效率，甚至可能导致挖掘结果的偏差，所以进行数据清洗就显得尤为重要，数据清洗完成后接着进行或者同时进行数据集成、转换、规约等一系列的处理，该过程就是数据预处理。数据预处理一方面是要提高数据的质量，另一方面是要让数据更好地适应特定的挖掘技术或工具。统计发现，在数据挖掘的过程中，数据预处理工作量占到了整个过程的60%。 7.1.1缺失值处理 从统计上说，缺失的数据可能会产生有偏估计，从而使样本数据不能很好地代表总体，而现实中绝大部分数据都包含缺失值，因此如何处理缺失值很很重要。 一般来说，缺失值的处理包括两个步骤，即缺失数据的识别和缺失值处理。在对是否存在缺失值进行判断之后需要进行缺失值处理，常用的方法有删除法、替换法、插补法等。 （1）删除法 删除法是最简单缺失值处理方法，根据数据处理的不同角度可分为删除观测样本、删除 变量两种。 （2）替换法 变量按属性可分为数值型和非数值型，二者的处理办法不同：如果缺失值所在变量为数 值型的，一般用该变量在其他所有对象的取值的均值来替换变量的缺失值；如果为非数值型变量，则使用该变量其他全部有效观测值的中位数或者众数进行替换。 （3）插补法 删除法虽然简单易行，但会存在信息浪费的问题且数据结构会发生变动，以致最后得到 有偏的统计结果，替换法也有类似问题。在面对缺失值问题，常用的插补法有回归插补、多重插补等。回归插补法利用回归模型，将需要插值补缺的变量作为因变量，其他相关变量作为自变量，通过回归函数lm()预测出因变量的值对缺失变量进行补缺；多重插补法的原理是从一个包含缺失的数据集中生成一组完整的数据，进行多次，从而产生缺失值的一个随机样本。 7.1.2异常值处理 在异常值的处理之前需要对异常值进行识别，一般多采用单变量散点图或是箱形图可以达到目的。 在数据预处理时，异常值是否剔除，需视具体情况而定，因为有些异常值可能蕴含着有用的信息。