基于Hadoop的大数据平台架构建设思虑： 1、数据获得 2、数据汇集和存储 3、数据的管理 4、数据的分析 5、数据的价值：决策支持系统 6、数据的使用

深入浅出解析大数据平台架构.docx • 什么是大数据 • Hadoop介绍-HDFS、MR、Hbase • 大数据平台应用举例-腾讯 • 公司的大数据平台架构

大数据平台规划方案

如今大数据在各行业的应用越来越广泛：运营基于数据关注运营效果，产品基于数据分析关注转化率情况，开发基于数据衡量系统优化效果等。美图公司有美拍、美图秀秀、美颜相机等十几个app，每个app都会基于数据做个性化推荐、搜索、报表分析、反作弊、广告等，整体对数据的业务需求比较多、应用也比较广泛。因此美图数据技术团队的业务背景主要体现在：业务线多以及应用比较广泛。这也是促使我们搭建数据平台的一个最主要的原因，由业务驱动。举几个美图的数据应用案例。如图1所示，左起第一张是美图自研的数据可视化平台DataFace，支持业务方自由拖拽生成可视化报表，便于高效的做数据报表以及后续的分析；第二张是美拍APP的首页

IBM InfoSphere Streams 是 IBM 大数据平台中支持构建和部署持续实时分析 应用程序以分析动态数据的技术组件。这些应用程序将持续不断地寻找数据流 中的模式。检测到模式后，将分析模式的影响，并即时制定实时决策，从而加 强竞争优势。示例包括分析金融市场交易行为、分析 RFID 数据以实现供应链和 分销链优化，监控传感器数据以支持制造流程控制，新生儿重症监护室监控， 实时欺诈防范和执法中的实时多模式监测。IBM InfoSphere Streams 能同时监 控多个外部和内部事件流，无论它们是由机器生成的，还是手动生成的。该解 决方案支持海量结构化和非结构化流式数据源，包括文本、图像、音频、语音 、VoIP、视频、Web 流量、电子邮件、地理空间数据、GPS 数据、金融交易 数据、卫星数据、传感器和其他任何类型的数字信息。