大数据关键技术.doc

大数据关键技术 大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌 现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。 大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数 据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据 安全等）。 一、大数据采集技术 数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式 获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是 大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据 全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质 量评估模型，开发数据质量技术。 大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、 传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结 构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理 和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等