大数据分析与实践 实验报告

1.1 数据预处理方法的调研 数据预处理的方法有数据清洗、数据集成、数据规约、数据变换等，其中最 常用到的是数据清洗与数据集成。 1.1.1 数据清洗 数据清洗是通过填补缺失值，平滑或删除离群点，纠正数据的不一致来达到 清洗的目的。简单来说，就是把数据里面哪些缺胳膊腿的数据、有问题的数据给 处理掉。总的来讲，数据清洗是一项繁重的任务，需要根据数据的准确性、完整 性、一致性、时效性、可信性和解释性来考察数据，从而得到标准的、干净的、 连续的数据。 （1）缺失值处理 实际获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针 对这些缺失值，会基于变量的分布特性和变量的重要性采用不同的方法。若变量 的缺失率较高（大于 80%），覆盖率较低，且重要性较低，可以直接将变量删除， 这种方法被称为删除变量；若缺失率较低（小于 95%）且重要性较低，则根据数 据分布的情况用基本统计量填充（最大值、最小值、均值、中位数、众数）进行 填充，这种方法被称为缺失值填充。对于缺失的数据，一般根据缺失率来决定“删” 还是“补”。 （2）离群点处理 离群点（异常值）是数据分布的常态，处于特定分布区域或范围 ### 大数据分析与实践实验报告知识点总结 #### 一、数据预处理方法的调研 **1.1 数据预处理概述** 数据预处理是数据分析过程中的关键步骤之一，它旨在提高数据质量，为后续的数据分析奠定良好的基础。数据预处理主要包括以下几个方面： - **数据清洗**：包括处理缺失值、离群点和平滑数据。 - **数据集成**：合并来自多个源的数据。 - **数据规约**：减少数据量以提高效率。 - **数据变换**：如归一化处理等。 **1.1.1 数据清洗** 数据清洗主要涉及处理缺失值、离群点等问题，确保数据的一致性和准确性。这是数据预处理中最常见也是最重要的一部分。 ##### （1）缺失值处理 - **删除变量**：如果某个变量的缺失率非常高（通常大于80%），并且该变量在整体分析中的重要性不高，则可以考虑直接删除该变量。 - **缺失值填充**：对于缺失率较低（小于15%）且重要性不高的变量，可以根据数据分布的特点使用基本统计量（如均值、中位数、众数等）进行填充。 ##### （2）离群点处理 离群点是指数据集中明显偏离其他观测值的值。离群点可能由测量错误或其他因素引起。处理离群点的方法包括： - **删除**：当离群点可能是由于记录错误造成时，可以直接将其删除。 - **修正**：如果是由于数据收集过程中的误差造成的离群点，可以通过调查原因并更正原始数据来解决。 - **替代**：使用统计方法（如中位数、均值等）来替代离群点。 **1.1.2 数据集成** 数据集成是将来自不同来源的数据整合成一个统一的数据集的过程。这个过程中可能会遇到的问题包括： - **冗余数据**：重复的数据记录可能导致分析结果偏差。 - **数据冲突**：不同数据源之间的数据可能存在冲突，需要进行处理。 **1.1.3 数据规约** 数据规约是通过减少数据量来简化数据集的过程。这可以通过以下几种方式实现： - **维度规约**：减少数据的维度。 - **数值规约**：通过采样等方式减少数据量。 - **数据压缩**：利用数据压缩技术减少存储空间需求。 **1.1.4 数据变换** 数据变换是指将数据转换成适合分析的形式，常见的方法包括： - **规范化**：将数据缩放到相同的范围内。 - **标准化**：使数据符合特定的标准分布。 - **聚集**：通过对数据进行分组和聚合操作来简化数据。 #### 二、数据分类方法的调研 数据分类是根据数据特征将数据对象分组到不同的类别中的一种方法。常用的分类算法包括： - **K最近邻(KNN)分类器**：基于距离度量，将新数据点分配给最近邻居所属的类别。 - **决策树**：通过构建一棵树形结构来进行分类。 - **朴素贝叶斯模型**：基于贝叶斯定理，并假设特征之间相互独立。 #### 三、参数预测仿真 **3.1 计算协方差** 协方差用于衡量两个变量之间的线性关系强度。计算协方差可以帮助我们了解变量间的关系。 **3.2 相关性可视化** 通过绘制相关性矩阵的热力图来直观地展示变量间的相关性。 **3.3 绘制散点图** 散点图是一种直观显示两个变量之间关系的图表，有助于发现潜在的模式和趋势。 #### 四、故障诊断 **4.1 K最近邻(KNN)分类器** KNN分类器通过比较未知样本与训练集中的样本之间的距离来确定其类别归属。 **4.2 决策树分类器** 决策树是一种基于规则的分类器，通过一系列的判断来确定样本属于哪个类别。 **4.3 朴素贝叶斯模型** 朴素贝叶斯模型假设所有特征之间相互独立，在实际应用中虽然这个假设往往不成立，但模型仍然能够给出较好的分类效果。 #### 结论 通过本实验报告的学习，我们深入了解了大数据分析与实践中涉及的数据预处理方法以及常用的分类算法。数据预处理是确保后续分析准确性的基础，而选择合适的分类算法则能有效提高模型的预测能力。在实际应用中，应根据具体问题的特点灵活选择合适的方法和技术。