大数据预处理之数据清洗，shell脚本

数据预处理软件源代码(QT C++),负责数据挖掘的数据清洗工作，如对一些科研实验数据的清洗和预处理

数据清洗-对异常值处理并可视化.html

本书将帮助您重塑数据清洗的观念，让数据清洗不再是一件苦差事，而是高质量、有品位、时尚和高效的标志

数据集为通过编写代码下载的饿了么平台上的数据，数据为福建师范大学周边商家的数据，数据量为12万+，已进行了初步的数据清洗。

qunar_freetrip.csv

《Python3爬虫、数据清洗与可视化》pdf+配套代码+数据集，亲测全部有效，提供给大家学习交流！欢迎下载

机器学习课程附带的程序练习，有很多简单的基础程序可供练习参考，自带鸢尾花数据等database

数据录入过程、数据整合过程都可能会产生重复数据，直接删除是重复数据处理的主要方法。pandas提供查看、处理重复数据的方法duplicated和drop_duplicates。以如下数据为例:发现重复数据通过duplicated方法完成，如下所示，可以通过该方法查看重复的数据。需要去重时，可drop_duplicates方法完成：drop_duplicates方法还可以按照某列去重，例如去除id列重复的所有记录：缺失值是数据清洗中比较常见的问题，缺失值一般由NA表示，在处理缺失值时要遵循一定的原则。首先，需要根据业务理解处理缺失值，弄清楚缺失值产生的原因是故意缺失还是随机缺失，再通过一些业务经

批量电子邮件收发人提取工具。大数据工具。经数十万封电子邮件测试。在win10+vs2017下编译运行，已经编译好，下载解压后可用。 用法简单：将电子邮件放到一个文件夹中，选中，点开工，立等可取。每个邮件独立提取。合并方法：到cmd中，进入该文件夹(例如cd c:\aa)，输入命令copy *.txt all.txt，即可完成合并。