情感分析：使用Rapidminer进行情感分析项目文件

学习RapidMiner挺不错的中文资料，很详细。 学习RapidMiner挺不错的中文资料，很详细。

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术，特点是图形用户界面的互动原型。

图 18.12 全局离群点检测气泡图 “Local Outlier Factor”基于本地的离群点检测操作符，操作流程如图 18.13，检测结果如图 18.13 图 18.13 离群点检测操作流程

企业经营最大的目的就是盈利，而餐饮业企业盈利的核心就是其菜品和顾客，也就是其提供的产品和服务对象。企业经营者每天都在想推出什么样的菜系和种类会吸引更多的顾客，究竟各种顾客各自的喜好是什么，在不同的时段是不是有不同的菜品畅销，当把几种不同的菜品组合在一起推出时是不是能够得到更好的效果，未来一段时间菜品原材应该采购多少…… T餐饮的经营者想尽快地解决这些疑问，使自己的企业更加符合现有顾客的口味，吸引更多的新顾客，又能根据不同的情况和环境转换自己的经营策略。T餐饮在经营过程中，通过分析历史数据，总结出一些行之有效的经验：  在点餐过程中，由有经验的服务员根据顾客特点进行菜品推荐，一方面可提高菜品的销量，另外一方面可减少客户点餐的时间和频率，提高用户体验；  根据菜品历史销售情况，综合考虑节假日、气候和竞争对手等影响因素，对菜品销量进行预测，以便餐饮企业提前准备原材料；  定期对菜品销售情况进行统计，分类统计出好评菜和差评菜，为促销活动和新菜品推出提供支持；  根据就餐频率和金额对顾客的就餐行为进行评分，筛选出优质客户，定期回访和送去关怀。 上述措施的实施都依赖于企业已有业务系统中保存的数据，但是目前从这些数据中获得有关产品和客户的特点以及能够产生价值的规律更多依赖于管理人员的个人经验。如果有一套工具或系统，能够从业务数据中自动或半自动地发现相关的知识和解决方案，这将极大地提高企业的决策水平和竞争能力。这种从数据中“淘金”，从大量数据（包括文本）中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程，就是数据挖掘；它是利用各种分析工具在大量数据中寻找其规律和发现模型与数据之间关系的过程，是统计学、数据库技术和人工智能技术的综合。 这种分析方法可避免“人治”的随意性，避免企业管理仅依赖个人领导力的风险和不确定性，实现精细化营销与经营管理。

RapidMiner Studio 结合技术性和适用性，为最新的及已建立的人性化数据挖掘技术提供服务。通过推拽算子，设置参数及组合算子，在RapidMiner Studio中定义分析流程。 正如我们将在下面看到的，流程能从大量的随机的可嵌套的算子中产生，最终表示为所谓的流程图（流程设计）。流程结构由内部的XML来描述，通过图形用户界面来开发。在后台，RapidMiner Studio 不断地检查当前流程开发状态，确保语法一致，并在问题出现时，能自动推荐解决方案。以上功能是通过所谓的元数据转换实现的，即在流程设计阶段转换基础元数据，预知流程开发结果，并在出现不合适的算子组合时确定解决方案（快速修复）。此外，RapidMiner Studio也能定义断点，因此能检查几乎所有的中间结果。成功组合的算子会被合并到构建模块中，因此在后期流程中它们还能被再次使用。 RapidMiner Studio包含了1500多个专业数据分析流程：从数据划分到以市场为基础的分析，再到属性生成，它包含了所有您需要的数据挖掘工具。同时也包含了文本挖掘，网页挖掘，对来自网络论坛的信息的自动情感分析（情感分析，观点挖掘）及时间序列分析，并能作出预测。 RapidMiner Studio为我们提供了强大的视觉化功能，例如三维图，散列矩阵和自组织地图等。在RapidMiner Studio里，您能够把您的数据转换为完全可定制的可输出的图表，并且支持缩放、移动及调整功能，以求最优化视觉效果。

在上一个章节，我们熟悉了RapidMiner Studio图形用户界面的基本组成部分，例如透视图及视图，并讨论了RapidMiner Studio的设计透视图的最重要的一些方面。现在为了定义和执行一个原始的简单的分析流程，我们需要使用新的功能。您很快会发现RapidMiner的这项功能是多么的使用，您不需要在每次修改了流程以后都要执行一下新流程以确定修改后的效果。但是，这项功能可不仅仅只有这些好处。 3.1 创建一个新流程 不管是在透视图主页选择“新建”选项，还是点击RapidMiner Studio主工具栏左边的“新建”图标，还是进入“文件”菜单，都可以新建一个分析流程，以供接下来的使用。 提示：我们建议您把新建的流程保存在您的资源库中。 3.2资源库的选项功能 原则上，您可以完全自由的组建您的资源库。在资源库浏览器及资源库视图中的条目快捷菜单中，您会发现管理数据和流程所必须的所有条目，如图3.1所示。

前面的部分中，我们已经看到了RapidMiner Studio图形用户界面是如何建立起来的，以及如何用它来定义和执行分析流程。在流程的最后，流程结果会显示在结果视图中。现在在工具栏上点击一下就能跳转到结果视图了。这一章会详细阐述结果视图。依据您是否已经生成了可被描述的结果，在默认设置前提下，您现在应该至少能大致看到这些显示内容 或者，您可以在“View（视图）”菜单中=“Restore Default Perspective（恢复默认透视图）”这一选项重新建立这个预设透视图。在介绍过的设计透视图之后，结果透视图是RapidMiner Studio的第二个主要工作环境。我们已经讨论了右侧的资源库视图，因此这一章节我们会关注视图的其他组成部分。 4.1结果可视化 我们已经看到了在流程执行完成后，流程中右侧结果端口的结果会自动显示在结果视图中。结果视图中左上角的大部分会被用到，那里显示了分析结果概述，在这一章节的结尾我们会讨论这些分析结果。 目前每一个打开的和显示的结果都会在这一区域以一个附加标签显示，如图4.2所示。严格来说，每个结果都是一个视图，像以往一样，您可以随心所欲的移动这些视图。这样的

表格，数据，文本集，日志，网址，测量值---这些以及其它类似的信息是每一个数据挖掘流程在一开始就要用到的。准备好的数据会被转化并合并，最后您会得到一个新的或是以不同方式显示出来的数据、模型或报告。在这一章我们会为您介绍如何用RapidMiner Studio处理这些信息。 5.1RapidMiner Studio的资源库 一旦您收集的流程及相关文件超过了一定的大小，您会发现RapidMiner会智能化的以一个一致的结构化的方式存储这些信息。其中一种可能性是以文件夹的形式存储流程。文件夹会根据流程分类，每一个流程的文件夹有一个目录，目录里面包含了输出数据，中间结果，报告等信息。 系统化、结构化地存储流程是个明智的选择，只有在极少的情况下我们会推荐选用普通的文件夹系统存储流程，因为普通文件夹存储系统很难满足数据挖掘方案的需求。因为不同的原因，例如机密性或者存储空间有限，会导致不能在本地电脑上创建文档。如果要在一个远程服务器上执行一个在本地电脑上创建的流程，就需要进行手动操作，例如复制流程及调整路径。创建流程，操作数据及评估分析结果都需要一个外部的权限和版本管理。以不同的格式存储的文件需要正确的参数设置，例如分隔符、新下载数据的代码。中间结果和流程变量的数量增长很快，这意味着您很容易就会无法跟踪这些数据。下载和查看数据，重新了解一下概况，这可能需要一个很长的流程甚至需要运行一个外部应用。文件注解能够让您更容易的掌控这些数据信息，但是普通的文件系统不支持这个功能。 RapidMiner应对所有这些问题的方法是资源库，它存储了所有的数据和流程。虽然我们也能从资源库以外的地方提取数据到流程中，但是外部提取数据需要运行外部流程等，而资源库可以为您提供很多便利：  结构化的数据、流程、分析结果和报告的存储位置说明了它们间相互关系，这些相互关系完全透明化的展现在用户面前。  不需要其他设置，您就可以打开或下载文件。只需点击一下，您就可以打开、查看数据或提取数据到流程中。您能够看到存储数据的概况，在不需要逐个打开这个文件的前提下，您可以随时为这些数据赋予特征、做上标记。

根据观测、调查收集到初步的样本数据集后，接下来要考虑的问题是：样本数据集的数量和质量是否满足模型构建的要求？有没有出现从未设想过的数据状态？其中有没有什么明显的规律和趋势？各因素之间有什么样的关联性？ 通过检验数据集的数据质量、绘制图表、计算某些特征量等手段，对样本数据集的结构和规律进行分析的过程就是数据探索。数据探索有助于选择合适的数据预处理和建模方法，甚至可以完成一些通常由数据挖掘解决的问题。 本章从数据质量分析和数据特征分析两个角度对数据进行探索。 6.1 数据质量分析 数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础，没有可信的数据，数据挖掘构建的模型将是空中楼阁。 数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。在常见的数据挖掘工作中，脏数据包括：  缺失值  异常值  不一致的值  重复数据及含有特殊符号（如#、￥、*）的数据 本小节将主要对数据中的缺失值、异常值和一致性进行分析。 6.1.1缺失值分析 数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确，以下从缺失值产生的原因及影响等方面展开分析。 （1） 缺失值产生的原因 1） 有些信息暂时无法获取，或者获取信息的代价太大。 2） 有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的