第14章-基于Hadoop的数据仓库Hive.pdf

1）学习搭建一个数据仓库的过程，理解数据在整个数仓架构的从采集、存储、计算、 输出、展示的整个业务流程。 2）整个数仓体系完全搭建在阿里云架构上，理解并学会运用各个服务组件，了解各个 组件之间如何配合联动。 3）前置知识要求  熟练掌握SQL语法  熟悉Linux命令  对Hadoop大数据体系有一定的了解

关于数据仓库稽核的方法，针对数据完整性的验证。

数据仓库，英文名称为 Data Warehouse，可简写为 DW 或 DWH。数据仓库，是为企业 所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支 持目的而创建。

azkaban3.9安装包下载（已编译） 在网上找了好久的安装包，都没找到。 找到了都是需要积分下载，于是我就自己去下载源码编译打包。

数据仓库经历多年的快速发展、变迁，各种规范、流程混杂在一起，共存多套开发规范、流程，目前也存在需要完善及补充、细化的地方，因此对现有的多套规 范进行重新梳理、分析及总结，取长补短，立足更远的未来，形成一套统一的，标准的流程 及规范，满足DT时代下数据仓库的数据研发。 集成工具的开发, 需要有一套可落地的研发标准及规范准则,把开发 方法、流程和模板固化在工具平台上,指导数据仓库的实施过程，提高实施的自动化程度,降低人工干预环节，从而保障开发的质量,提升开发效率

数据仓库生命周期工具箱是一本非常好的关于数据仓库的书，这是做数据库仓库必备书之一。

数据仓库设计

免费的进销存管理系统，excel版本

数据仓库 介绍 在这个项目中，我构建了一条ETL管道来帮助一家音乐流媒体启动公司Sparkify从AWS S3 （数据存储）中提取其数据，将它们暂存到AWS Redshift中，并将数据转换为一组维度表，以便他们的分析团队可以分析用户正在收听的歌曲。 要求 该项目需要以下内容： 有权创建IAM角色并配置AWS Redshift的AWS账户 数据集：两个公共S3存储桶。 一个存储桶包含有关歌曲和艺术家的信息，第二个存储桶包含有关用户的信息。 安装与设置 对于数据库架构 登台表 staging_songs-存储歌曲和艺术家 staging_events-存储用户执行的操作 事实表 songplays -与歌曲相关联的事件数据记录玩弄页NextSong即记录 尺寸表 用户-应用中的用户 歌曲-音乐数据库中的歌曲 artist-音乐数据库中的艺术家 时间-歌曲播放记录的时间戳分为特定单位 数据仓