应用系统是由服务器、数据库、中间件、存储设备等组成。它在日常运行时，会对底层软硬件造成负荷。 其中任何一种资源负载过大，都可能会引起应用系统性能 下降甚至瘫痪。及时了解当前应用系统的负载情况，以便 提前预防，确保系统安全稳定运行。 应用系统的负载率 通过对一段时间内软硬件性能的运行 状况进行综合评分而获得。 负载率趋势 通过系统的当前负载率与历史平均负载率进 行比较。 应用系统的负载高或者负载趋势大的现象，代表系统目前 处于高危工作环境中。如果系统管理员不及时进行相应的 处理，系统很容易出现故障。 本例重点分析磁盘容量，如果应用系统出现存储容量耗尽 的情况，会导致应用系统负载率过高，最终引发故障。 应用系统的负载率 通过对一段时间内软硬件性能的运行 状况进行综合评分而获得。 负载率趋势 通过系统的当前负载率与历史平均负载率进 行比较。 应用系统的负载高或者负载趋势大的现象，代表系统目前 处于高危工作环境中。如果系统管理员不及时进行相应的 处理，系统很容易出现故障。 本例重点分析磁盘容量，如果应用系统出现存储容量耗尽 的情况，会导致应用系统负载率过高，最终引发故障。

网络舆情是指在互联网上流行的对社会问题不同看法的网 络舆论，是社会舆论的一种表现形式，是通过互联网传播 的公众对现实生活中某些热点 焦点问题所持的有较强影 响力 倾向性的言论和观点。 近年来，网络舆情对政治生活秩序和社会稳定的影响与日 俱增，一些重大的网络舆情事件使人们开始认识到网络对 社会监督起到的巨大作用。同时，网络舆情突发事件如果 处理不当，极有可能诱发民众的不良情绪，引发群众的违 规和过激行为，进而对社会稳定形成严重威胁。因此需要 研究网络舆情与分析对象之间的关联性，寻找出与给定舆资源联系最紧密的分析对象

智能家居是利用先进的技术，融合个性需求，将与家居生 新功能，就能开拓新市场，实现产品的智能化。根据家居 的智能化，分析客户行为，识别不同客户群的特征、加深 对客户的理解等。（以热水器为例，分析客户行为） 针对不同的客户群提供个性化产品、改进新产品的智能化 的研发和制定相应的营销策略。 初步分析： 热水器在状态发生改变或者有水流状态时，每2秒会采集—条流水数据 。因为用户行为不仅仅只有洗浴还存在其他的用水事件：比如洗手、洗 菜等，所以热水器采集的数据来自各种不同的用水事件。 基于热水器采集的数据，根据水流量和停顿时间间佃划分为不同大小的 时间区间，每个区间是—个可理解的—次完整用水事件，并以热水器— 次完整用水事件作为—个基本事件。 从独立的用水事件中识别出其中属于洗浴的事件。

随着当今个人手机终端的普及，出行群体中手机拥有率和 使用率已达到相当高的比例，手机移动网络也基本实现了 城乡空间区域的的覆盖情况，将 至现实的地理空间中用户的现实活动轨迹，从而挖掘得到人口空间分布与活动联 系特征信息。移动通信网络的信号覆盖从逻辑上被设计成 由若干六边形的基站小区相互邻接而构成的蜂窝网络面状 服务区，手机终端总是与其中某一个基站小区保持联系， 移动通信网络的控制中心会定期或不定期地主动或被动地 记录每个手机终端时间序列的基站小区编号信息。 随着当今个人手机终端的普及，出行群体中手机拥有率和 使用率已达到相当高的比例，手机移动网络也基本实现了 城乡空间区域的 的覆盖情况，将 至现实的地理空 户的现实活动轨迹，从而挖掘得到人口空间分布与活动联 系特征信息。移动通信网络的信号覆盖从逻辑上被设计成 由若干六边形的基站小区相互邻接而构成的蜂窝网络面状 服务区，手机终端总是与其中某一个基站小区保持联系， 移动通信网络的控制中心会定期或不定期地主动或被动地 记录每个手机终端时间序列的基站小区编号信息。

MATLAB的数据挖掘功能 MATLAB(Mattrix Laboratory,矩阵实验室）是美国 Mathworks公司开发的应用软件，具备强大的科学及工程 计算能力，它不但具有以矩阵计算为基础的强大数学计算 能力和分析功能，而且还具有丰富的可视化图形表现功能 和方便的程序设计能力。它的应用领域十分广泛，主要包 括：数学计算和分析、自动控制、系统仿真、数学信号处 理、图形图像分析、数理统计、人功智能、虚拟现实技术、金融系统等。 MATLAB的数据挖掘功能 MATLAB用来做数据挖掘，特别是利用其简单的矩阵语言 加工具箱函数来实现数据挖掘算法，非常合适。 Statistics Toolbox和Neural Networks Toolbox可以用来 实现回归和分类；Optimization Toolbox和Genetic Algorithm and Direct Search Toolbox可以帮助 聚类算法进行最优化运算；Fuzzy Logic Toolbox可以进行 规则推理。 MATLAB的数据挖掘功能 �常用函数： kmeans() k-均值聚类 treefit() 决策树回归或分类 svmclassify() 支持向星机分类 knnclassify() k-近邻分类 crossvalind() 交叉验证试验 基千MATLAB的混合编程 基于MATLAB的工具箱函数实现混合编程的方法很多， 如：基于Matlab C/C++ 数学库、基于Matlab Engine、基于ExcelLink、基于COM/Excel生成器、基于 Matlab web server、基于自动化链接、基于Matlab的 DDE功能、基于MATLAB Builder for Java，等等，都 可以实现混合编程。

上机实验源数据-Hadoop大数据分析与挖掘实战 数据源 共16个章节 大数据的出现催生出产业人才缺口瓶颈，在大数据挖掘项目的实施方面，被调查公司普遍缺乏相关的技术能力。 75% 以上的公司表示在人员和培训方面存在障碍，会大数据挖掘技术的人才很热门，但是比较难找而且昂贵，会 Hadoop 技术的数据挖掘人才更是奇缺。 虽然大数据目前在国内还处于初级阶段，但是其商业价值已经显现出来，特别是有实践经验的大数据分析人才更是各企业争夺的热门。为了满足日益增长的大数据分析人才需求，很多大学开始尝试开设不同程度的大数据分析课程。“大数据分析”作为大 数据时代的核心技术，必将成为高校数学与统计学专业的重要课程之一。

SPSS Modeler简介 SPSS Modeler 原名 Clementine，定－＾久享盛誉的数据挖掘平乙 软件。它提供完全可视化的图形化界面，主要通过数据流的形式实现 数据挖掘整＾过程，具有如下功能： 易学/直观的可视化用户界面：可视化的操作方法，无需在编写代码上 耗费精力和时间、广泛的数据挖掘功能、灵活多样的部署选项。 强劲的自动化建模能力：自动化的数据准备、丰富的模型算法和评估 手段。 开发且可扩展的体系结构：支持SQL推送，在标准数据库内的数据挖 掘。 SPSS Modeler简介 它包括6＾节点区：源数据节点(Sources)、记录处理节点(Record Ops)、字段(变量)处理节点(Field Ops)、图形节点(Graphs)、建立模 型节点(Modeling)和输出节点(Output)，用户建立模型的过程就 定把各＾节点区的节点以连线的方式连在－起。 SPSS Modeler软件从以下＝＾方面提供对中文的全方位支持：可以 读取和写入中文值和中文字段名；完全的中文操作界面和中文结果显 示；全面的中文帮助和中文使用手册，这在国外软件中定很少见的。 SPSS Modeler简介 它包括6＾节点区：源数据节点(Sources)、记录处理节点(Record Ops)、字段(变量)处理节点(Field Ops)、图形节点(Graphs)、建立模 型节点(Modeling)和输出节点(Output)，用户建立模型的过程就 定把各＾节点区的节点以连线的方式连在－起。 SPSS Modeler软件从以下＝＾方面提供对中文的全方位支持：可以 读取和写入中文值和中文字段名；完全的中文操作界面和中文结果显 示；全面的中文帮助和中文使用手册，这在国外软件中定很少见的。 SPSS Modeler安装 这里使用的版本为SPSS Modeler 14.1。可从官网或者网站 http://www.tipdm.org/jmgj/568.jhtml下载，双击安装盘根目录下 的setup.exe文件即可安装(注意：安装版本位数需与系统位数相匹配)。 安装过程默认点击下－步即可完成安装，点击安装目录bin目录下的 modelerclient.exe启动SPSS Modeler，或者通过开始菜单中快捷方 式启动SPSS Modeler 。

R是用千统计分析、绘图的语言和操作环境。R是属千GNU系统的一个 自由、免费、原代码开放的软件。主流用户以命令行操作 也有工程 师开发了图形化界面进行操作。它是一个用千统计计算和统计制图的 优秀工具 具有以下优势： R比其他统计学或数学专用的编程语言有更强的物件导向(面向对象程 序设计)功能。 用千作矩阵运算 其分析速度可比商业软件MATLAB。 它的使用很大程度上是借助各种各样的R包的辅助。从某种程度上讲 R包就是针对千R的插件 不同的插件满足不同的需求。 RStudio窗口介绍 代码栏可以进行代码的编辑 以及打开R脚本或者txt文本。创建新的 文件可以从File -> New里选择 打开文件可以从目录File -> Open 或 者从Open Recent目录里打开最近的文件。运行文件可以选择相应的 代码 点击Run按钮。 命令控制台 代码运行后 控制台会显示相应的代码或者返回结果。 也可以在命令控制台单独输入命令 和R的命令模式相同。 其他栏是有关千R使用方面的显示栏。可以在Packages目录下进行R 包的安装以及加载（包安装好后 并不可以直接使用 如果需要使用 包 必须每次使用前包加载到内存中 可以直接选择包或者在控制台 输入library(package_name) 命令）。在Help目录下关千R相关函数 或者命令的帮助。在Plot目录下会显示图形相关方面的描述；

(1)数据质星分析 (2)数据特征分析 (3)MATLAB主要数据探索函数 篇外：了解你的数据 数据集的类型 腾性的不同类型 数据挖掘中特别的列 数据集的重要特性 数据集的类型 腾性的不同类型 数据挖掘中特别的列 数据集的重要特性

小结 本章主要根据数据挖掘的应用分类，重点介绍了对应的数据挖掘建模方 法及实现过程。通过对本章的学习，可在以后的数据挖掘过程中采用适 当的算法并按所陈述的步骤实现综合应用，更希望本章能给读者一些启 发，思考如何改进或创造更好的挖掘算法。 归纳起来，数据挖掘技术的基本任务主要体现在分类与预测、聚类、关 联规则、时序模式、离群点检测五个方面。 5.1分类与回归主要介绍了决策树和人工神经网络两个分类模型、回归分 析预测模型及其实现过程； 5.2聚类分析主要介绍了K-Means聚类算法，建立分类方法按照接近程度 对观测对象给出合理的分类并解释类与类之间的区别； 小结 5.3关联规则主要介绍了Apriori算法，以在一个数据集中找出各项之间的 关系； 5.4时序模式从序列的平稳性和非平稳型出发，对平稳时间序列主要介绍 了ARMA模型，对差分平稳序列建立了ARIMA模型，应用这两个模型对 相应的时间序列进行研究，找寻变化发展的规律，预测将来的走势； 5.5离群点检测主要介绍了基于模型和离群点的检测方法，是发现与大部 分其他对象显著不同的对象。 前5章是数据挖掘必备的原理知识，并为本书后面章节的案例理解和实验 操作奠定了理论基础。