Data Mesh大数据平台架构设计与实践.pdf

从CDH和HDP到CDP看大数据平台架构的演进 开源为什么需要企业支持？ CDH/HDP到CDP 为什么要使用CDP

本文档详细介绍了车辆实时监控预警大数据平台的架构设置，车辆传感器、消息控制、模型算法等功能，可作为车联网大数据平台架构参考

互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文 GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Hadoop技术生态。经过十几年的发展，如今的大数据技术生态已相对成熟，围绕大数据应用搭建的平台架构和技术选型也逐渐趋向统一。 上图是目前国内各大互联网公司普遍采用的大数据平台架构和技术选型。康威定律

大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等； 与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴； 与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。 数据工程师在业务和数据科学家之间搭建起实践的桥梁。本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。如图所示，大数据平台第一个要素就是数据源，我

企业级大数据平台架构及业务方案.pptx

面向网络安全防御防护的大数据平台架构研究 安全防护 红蓝对抗 移动安全 安全威胁 金融安全

智慧消防大数据平台从感知层到数据汇聚、传输、存储、应用层的架构设计。

美团大数据平台架构实战，美团大数据平台架构实战，美团大数据平台架构实战

Kafka的数据会被流式计算和批处理计算两个引擎分别消费。流处理使用Storm进行计算，结果输出到HBase或者数据库。批处理计算使用Hive进行分析计算，结果输出到查询系统和BI（商业智能）平台。 数据分析师可以通过BI产品平台进行交互式的数据查询访问，也可以通过可视化的报表工具查看已经处理好的常用分析指标。公司高管也是通过这个平台上的天机系统查看公司主要业务指标和报表。 美团大数据平台的整个过程管理通过调度平台进行管理。公司内部开发者使用数据开发平台访问大数据平台，进行ETL（数据提取、转换、装载）开发，提交任务作业并进行数据管理。