介绍大数据中台、数仓、大数据平台等大数据领域的一些方法论

数仓脱敏文档.zip

有赞数据仓库元数据系统的演进

挖掘类标签即算法类标签，需要用算法挖掘用户相关特征。 挖掘类标签开发环节包括：①用户行为特征工程开发、②算法调优、③上线工程化调度等环节，开发周期较长。

回答：1、ETL 在数数据仓库角色 2、为什么建数据仓库需要ETL工具 3、如何选择ETL工具 4、ETL工具厂商的价值 5、拥有15年以上知名商用ETL工具历程

本次主要分享关于迁移实际案例与最佳实践更加深入的探讨。在迁移过程中，我们遇到了很多的预料之外的问题，如字符集问题，数字进位问题，各种OOM等等，更加深入地了解了Spark和RDMBS之间的差异。在弥补鸿沟和解决问题的过程中，我们做了很多的实践，贡献给了社区很多的反馈，也解决了很多的bug。即便对于Spark当前不能处理的场景，比如recurisve query，也有了一些可行的探索。此外，我们现在还开发了一套自动化框架来帮助加速迁移工作。在这次分享中，我们会深入迁移的关键步骤，并分享踩过的一些坑，最后会介绍我们的自动化工具，如SQL Converter等。相信对正工作在类似的任务或者即将开展类似工作的工程师们会有所帮助。 下面是PPT原文：关注 Hadoop技术博文 并回复 ebay_spark 获取本文PPT。

OPPO 作为手机厂商，基于 Android 定制了自己的 ColorOS 系统，当前日活跃用户超过 2 亿。围绕 ColorOS，OPPO 构建了很多互联网应用，比如应用商店、浏览器、信息流等。在运营这些互联网应用的过程中，OPPO 积累了大量的数据，上图右边是整体数据规模的演进：从 2012 年开始每年都是 2~3 倍的增长速度，截至目前总数据量已经超过 100PB，日增数据量超过 200TB。 要支撑这么大的一个数据量，OPPO 研发出一整套的数据系统与服务，并逐渐形成了自己的数据中台体系。

hive spark hadoop

数据仓库设计经典_数据仓库结构设计与实施_构建信息系统金字塔

大数据阶段真实项目，数据仓库完整项目，包括项目分析，如何实现。