对于数据管理工作，尽管专业的信息系统+数据库要比excel强大，但是操作人员可能依然要面对初始数据导入以及信息系统导出数据终端再加工的任务，尤其是行政、财务等方面的工作人员，面对此类工作的情况会更加普遍，即便是熟悉Excel函数公式使用的人，针对某一问题专门编写公式也是费时费力的事情，如果有一个现成的“工具包”，可以解决常见的数据处理问题，那就非常方便了。 此工具集主要包含以下功能 一、身份证号码验证。 其中包括： 【1】身份证末位验证码验证； 【2】日期合法性验证； 【3】非法字符识别； 【4】18位和15位新旧身份证号码长度识别； 【5】身份证号码文本格式数字化识别； 【6】15位旧身份证号码转18位新号码； 【7】身份证号码末位验证码 【8】身份证号码提取出生日期； 【9】身份证号码提取性别； 【10】身份证号码提取年龄； 【11】检测身份证号码可能存在的相邻两位数颠倒； 【12】检测身份证号码可能存在的相隔两位数颠倒； 二、分类识别。 可将包含某些关键词的单元格数据转换成指定的数据，例如将“天安门”、“天安门广场”、“天安门城楼”、“人民大会堂”转换成指定的文本“天安门广场”。本工具支持最多35个分类，350个关键字的分析归类。 　　 三、日期整理。 解决了常用的DATEDVALUE函数分析处理的局限性，识别日期格式的能力更强、更全面。 　　 四、隐藏字符： 可以分析识别不可见字符并删除，避免Excel在查询、比对、筛选等操作时的数据差错； 其它功能：陆续添加中。。。

MapReduce---＞实现简单的数据清洗需要的数据文件

利用kettle工具进行数据清洗，按照条件去除不需要的内容

data-integration(7.1.0.0-12)

rest client接口解析，JavaScript脚本数据清洗、json input、入库

记一个python处理excel数据清洗的实例的源文件

资料清理 河工程二年级数据清洗课程 数据说明：共五类糖尿病细胞拉曼光谱数据：文件夹名称就是对应的分类

包括了爬虫项目（爬北上广深热门城市的租房信息）和数据清洗和数据分析，值得下载。其中数据分析会产生许多图片，适合小白同学初步入门大数据。

中国联通已建立专业化大数据人才梯队, 打造集团、省、市三级纵向一体化运营体系，以及售前、售中、售后横向一站式服务体系，在政府、金融、旅游、交通、传媒、零售等行业开展广泛应用和合作，积累丰富经验。 广东联通依靠强有力的大数据本地队伍，将成为“中国联通大数据华南基地”。 首创通过元数据解决异构数据整合，实现大数据平台的松耦合、可扩展性。该平台除了成功应用于广东联通大数据平台，同时对外应用于广东省网上办事大厅的客户关系管理系统及广发大数据平台。 运营商大数据具备全面性、多维性、中立性、完整性是其它企业很难比拟的，而且通过这些不同维度数据的交叉关联，可以创造更多的新数据和新价值 。

数据清洗实战 非常详细的 英文原版教程 高清pdf SAS软件实现