本次课程主要以真实的电商数据为基础，通过Python详细的介绍了数据分析中的数据清洗阶段各种技巧和方法。

基于Spark的健康监测管理系统的数据清洗与数据分析.zip代码为基于Spark的健康监测管理系统的数据清洗与数据分析部分，数据清洗部分使用RDD，分析部分综合使用sparksql与RDD，最终转为DataFrame进行计算，因网络上可供参考的文献、项目等较少，本项目为从事大数据开发的人员提供参考 基于Spark的健康监测管理系统的数据清洗与数据分析.zip代码为基于Spark的健康监测管理系统的数据清洗与数据分析部分，数据清洗部分使用RDD，分析部分综合使用sparksql与RDD，最终转为DataFrame进行计算，因网络上可供参考的文献、项目等较少，本项目为从事大数据开发的人员提供参考 基于Spark的健康监测管理系统的数据清洗与数据分析.zip代码为基于Spark的健康监测管理系统的数据清洗与数据分析部分，数据清洗部分使用RDD，分析部分综合使用sparksql与RDD，最终转为DataFrame进行计算，因网络上可供参考的文献、项目等较少，本项目为从事大数据开发的人员提供参考 基于Spark的健康监测管理系统的数据清洗与数据分析.zip代码为基于Spark的健康监测管理

基于Hadoop的全国酒店数据清洗项目源码+报告.zip结合本案例背景介绍，说明对本数据集进行分析的目的，说明采用的分析技术，实现的价值。 本案采用的数据集是全国各省市酒店的运营情况数据集，对该数据集进行分析的目的是为了更好的指导酒店行业的发展。本案例使用hdfs分布式存储系统存储数据，利用Hadoop的MapReduce技术进行数据分析。 3、简要介绍mapreduce框架 MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义： （1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。 基于Hadoop的全国酒店数据清洗项目源码+报告.zip基于Hadoop的全国酒店数据清洗项目源码+报告.zip基于Hadoop的全国酒店数据清洗项目源码+报告.zip基于Hadoop的全国酒店数据清洗项目源码+报告.zip基于Hadoop的全国酒店数据清洗项目源码+报告.zip

用于voc数据集的清洗，自动对应文件夹中的xml和jpg文件，并绘制目标检测框，将xml文件和图片放入一个命名为train的文件夹，程序放入和train同级的目录，运行程序，得到整理好的xml文件夹和img文件夹，同时取出部分图片绘制目标检测框

RFID清洗算法描述，策略运用，rfid工作原理。

数据集记录了示范光伏电站10个方阵各3台逆变器1个月的5min间隔有功功率运行数据 termNum: 期数 distNum: 区块号 blockNum: 方阵号 Time: 测点时间 powerNum: 逆变器编号 Power: 有功功率值

本压缩包可供个人学习实践使用，严禁除此以外的一切用途！违法必究

抽烟检测一共2500多张图片含负样本，训练测试比例为8：2。进行了数据划分，数据增强，数据清洗，负样本添加，可以直接下载使用。准确率可达0.98+

针对现实数据集的数据缺失问题，提出了一种基于双聚类的缺失数据填补新方法。该算法利用双聚类簇内平均平方残值越小簇内数据相似性越高的这一特性，将缺失数据的填补问题转换为求解特定双聚类簇最小平均平方残值的问题，进而实现了数据集中缺失元素的预测；再利用二次函数求解极小值的思想对包含有缺失数据的特定双聚类簇最小平均平方残值的问题进行求解，并进行了数学上的分析证明。最后进行仿真验证，通过观察UCI数据集的实验结果可知，提出的算法具有较高的填补准确性。

目录 一、数据采集 二、原始数据的获取 2.1 使用JMP软件从数据库获取数据 2.2 使用EXCEL从数据库获取数据 2.3 将多个数据文件合并到一个表 三、数据清洗 3.1 选择子集 3.2 字段（列名）重命名 3.3 删除重复值 3.4 缺失值处理 3.5 一致化处理 3.6 数据堆叠 3.7 异常值的判断与处理