传统的数据仓库技术从现在的大数据的角度来看，业内人能够明白深深其中的挑战。一个运行了 20多年的数据架构，必然有其合理性。也正是因为年代久远，存量过多，才导致举步维艰。在Cloud 和5G时代，超密度网络集成和大数据洞察需求给企业客户带来新的挑战，从数据仓库到数据湖，不仅仅架构的变革，更是思维方式的升级。本文尝试梳理数据架构的演进过程。数据仓库历史沿革 数据仓库概念

2021移动云数据湖技术论坛（DataFunSummit 2021）PPT汇总，共5份。 1、移动云数据湖分享 2、移动云湖仓一体的探索与实践 3、Apache Kyuubi (Incubating) 介绍 4、Apache kyuubi在移动云的实践 5、FlinkX在数据入湖中的应用

整理数据治理资料，包含数据标准，数据质量，数据仓库，数据湖，元数据管理各种资料，5年研究心血打造

ApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。这两种原语分别是：Update/Delete记录：Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记录，同时还提供写操作的事务保证。查询会处理最后一个提交的快照，并基于此输出结果。变更流：Hudi对获取数据变更提供了一流的支持：可以从给定的时间点获取给定表中已updated/inserted/deleted的所有记录的增量流，并解锁新的查询姿势（类别）。这些原语紧密结合，解锁了基于DFS抽象的流/增量处理能力。

基于数据湖架构下的数据治理体系

华为金融融合数据湖解决方案

基于Spark 3.1.2，详细讲解了Spark Core、Spark SQL、Spark结构化流、Spark图计算（GraphX和GraphFrame）、数据湖技术及应用。

我根据个人工作经营整理的数据湖产品，目前正在以此创作软件产品。

给大家分享一套课程——基于Flink+Hudi构建企业万亿级云上实时数据湖视频教程（2021新课）本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。 项目中将以热门的互联网电商业务场景为案例讲解，具体分析指标包含：流量分析，订单分析，用户行为分析，营销分析，广告分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。

手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 课程简介 从零学习数据湖的相关概念，并通过Hadoop、Spark、Delta Lake等框架实现数据湖架构，通过知识点 + 案例教学法帮助小白快速掌握数据湖开发相关技能。 课程亮点 1，前沿技术Delta Lake讲解 2，前沿的大数据概念，数据湖的学习 3，基于开源技术实现数据湖架构 4，基于AWS云平台实现数据湖架构 适用人群 1、对大数据技术感兴趣的在校生及应届毕业生。 2、大数据从业者，希望进一步提升个人技能，拓展职业路线。 3、对大数据行业感兴趣的相关人员。 4、对AWS云平台感兴趣的相关人员。 5、对新技术（Delta Lake）、新概念（数据湖）等感兴趣的相关人员。 课程内容 第一章 数据湖概念 第二章 数据湖理论 第三章 数据处理、数据应用的几种架构 第四章 数据湖基于Hadoop、Spark的实现 第五章 Delta Lake - 数据湖核心的增强 第六章 Delta Lake - Quickstart 第七章 Delta Lake 操作 第八章 Delta Lake - 理论 第九章 企业数据湖应用案例分析 第十章 基于AWS的云上数据湖实现方案介绍