阿里云实时数仓Hologres最佳实践合集

《实时数仓Hologres技术入门一本通》

实时数仓美团沙龙技术.pdf

内含从同步数据,实时的处理数据到可视化展现数据的操作 需要的软件也都准备好了 适合人群:学过离线数仓,会使用Flink,会Java

随着互联网飞速发展，企业业务种类会越来越多，业务数据量会越来越大，当发展到一定规模时，传统的数据存储结构逐渐无法满足企业需求，实时数据仓库就变成了一个必要的基础服务。以维表Join为例，数据在业务数据源中以范式表的形式存储，在分析时需要做大量的Join操作，降低性能。如果在数据清洗导入过程中就能流式的完成Join，那么分析时就无需再次Join，从而提升查询性能。利用实时数仓，企业可以实现实时OLAP分析、实时数据看板、实时业务监控、实时数据接口服务等用途。但想到实时数仓，很多人的第一印象就是架构复杂，难以操作与维护。而得益于新版Flink对SQL的支持，以及TiDBHTAP的特性，我们探索了一

基于Flink SQL的扩展工作，构建实时数仓的应用案例，未来工作的思考和展望4个方面介绍了OPPO基于Flink构建实时数仓的经验和未来的规划。

OPPO 作为手机厂商，基于 Android 定制了自己的 ColorOS 系统，当前日活跃用户超过 2 亿。围绕 ColorOS，OPPO 构建了很多互联网应用，比如应用商店、浏览器、信息流等。在运营这些互联网应用的过程中，OPPO 积累了大量的数据，上图右边是整体数据规模的演进：从 2012 年开始每年都是 2~3 倍的增长速度，截至目前总数据量已经超过 100PB，日增数据量超过 200TB。 要支撑这么大的一个数据量，OPPO 研发出一整套的数据系统与服务，并逐渐形成了自己的数据中台体系。