大数据的数据清洗方法研究.pdf

201 7 年 第 1 期 信 息 通 信 2017 (总第 169 期） INFORMATION & COMMUNICATIONS (Sum. No 169) 大数据的数据清洗方法研究 谭 晖 S摩振松、周小翠S贺 凡 2 (1.中国移动通信集团湖北有限公司， 湖北武汉,430023;2.北京协成致远网络科技有限公司， 北京,100036) 摘要： 降低运营成本， 提升企业收入， 一直都是企业管理层关心的重点。大数据的思维， 为企业的运营提供了彳艮好的思 路。在各类大数据项目中， 數据的清洗成为新的焦点， 如何快速高效去掉脏数据、 对有用数据进行恢复、 提升数据质量， 对大数据项目的正常运营具有重要影响。基于当前各类数据清洗中存在的不足， 文章提出一种基于函数依赖的数据清 洗方法， 可补全缺失数据、 修正错误数据、 消除重复值、 修复异常数据， 达到数据质量提升的目的。 关键词:客户感知;终端;移动互联网； 抓包； 网络质量 中图分类号:TP311 文献标识码: A 文章编号:1673-1131(2017)01-0238-02 0 引言 随着移动互联网的发展，移动大数据已经成为业界最