DTCC 2019年PPT合集，包含所有公开的PPT，含新近公开的第九专场。由于2019的文件较大，全部文件压缩之后也近600M，而上传文件有限制，放置一个超链接，请谅解！

最全最详细的flink 中文教程,详细介绍各个接口,并附带demo(一千多页pdf) 最全最详细的flink 中文教程,详细介绍各个接口,并附带demo(一千多页pdf)

Stream Processing with Apache Flink 2019完整版，不是只包括前两张的预览版！！！

Apache Flink是一个开源的大数据处理框架，它提供了状态管理、事件时间处理和容错机制等功能，特别适用于进行数据流处理和批量处理。为了搭建Flink的开发环境并部署和运行Flink应用，需要进行一系列的配置和准备工作。 搭建Flink的开发环境需要安装Java开发工具包（JDK），因为Flink是用Java和Scala编写的。针对不同操作系统，安装JDK的步骤也略有不同。JDK是必须安装的组件，因为Flink需要Java来编译和运行。需要注意的是，Flink要求Java版本至少为Java8，并且最好使用Java8u51及以上版本。为了能够编译Flink源代码，开发者还需要安装Maven，这是一个项目管理和构建自动化工具。由于Flink的构建过程要求使用Maven，推荐安装Maven3.2.5版本，因为Maven3.3.x在处理某些依赖关系时可能会遇到问题。 在配置Java和Maven时，通常需要设置环境变量JAVA_HOME和MAVEN_HOME，将它们的安装路径加入到系统的PATH环境变量中。对于Mac用户，可以使用/usr/libexec/java_home命令来查找JDK的安装路径，并在~/.bashrc或~/.zshrc文件中配置环境变量。对于Linux或Windows系统，虽然具体的安装方式各有不同，但配置JAVA_HOME和PATH的基本原则是相同的。 Git也是一个重要的工具，它是分布式版本控制系统，用于源代码的版本管理。安装Git后，可以通过克隆Flink的GitHub仓库来获取源代码，并使用Git进行版本控制。在Windows系统上，推荐使用Win10系统的Linux子系统进行Flink的编译和运行，这样既可以享受Windows系统的便捷性，又可以接近Linux服务器端运行的效果。在Linux系统上，推荐使用Ubuntu或CentOS等流行的操作系统。 在完成Java、Maven和Git的安装与配置后，下一步是设置集成开发环境（IDE）。一个功能强大的IDE，例如IntelliJ IDEA或Eclipse，可以帮助开发者更快地阅读代码、开发新功能和修复bug。虽然本课程主要在MacOS上进行配置演示，但Windows用户也可以通过上述提到的Linux子系统或者直接在Linux机器上进行配置。 搭建好开发环境之后，就可以运行Flink应用了。Flink应用的运行有几种模式，包括单机standalone模式、standalone集群模式和Yarn集群模式。不同的运行模式适用于不同的场景和需求。在进行模式选择时，需要根据实际的计算需求、资源情况和集群规模来决定。 Flink通过使用事件时间（event-time）和处理时间（processing-time）来进行时间的处理，并通过水印（watermarks）机制来处理事件时间的不确定性。Flink还提供了强大的容错机制和状态管理功能，能够在节点或任务失败时保障应用的正常运行。 总结来说，搭建Flink开发环境并部署和运行Flink应用涉及对Java、Maven、Git等工具的安装和配置，以及对IDE的选择和配置。掌握这些基础知识是进行Flink开发的第一步，也是确保应用能够顺利运行的关键。随着大数据处理需求的增长，对Flink这样的流处理框架的需求也将日益增加，因此熟练掌握Flink的开发和配置是大数据开发者必备的技能之一。

OPPO 作为手机厂商，基于 Android 定制了自己的 ColorOS 系统，当前日活跃用户超过 2 亿。围绕 ColorOS，OPPO 构建了很多互联网应用，比如应用商店、浏览器、信息流等。在运营这些互联网应用的过程中，OPPO 积累了大量的数据，上图右边是整体数据规模的演进：从 2012 年开始每年都是 2~3 倍的增长速度，截至目前总数据量已经超过 100PB，日增数据量超过 200TB。 要支撑这么大的一个数据量，OPPO 研发出一整套的数据系统与服务，并逐渐形成了自己的数据中台体系。

网上很少能找到flink的生产项目，这个项目是关于系统运维方面的流式处理，生产上的注意点，代码里基本都有体现，对初学者应该有一些帮助，其他的，就去官方demo上学习吧。

当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig

flink介绍的PPT,快速学习flink，了解最新批流处理框架