Airflow 中文文档 原文： 协议： 计算机科学中仅存在两件难事：缓存失效和命名。——菲尔·卡尔顿 负责人 翻译进度 Airflow 1.10.2 文档已翻译完成 下载 Docker docker pull apachecn0/airflow-doc-zh docker run -tid -p :80 apachecn0/airflow-doc-zh # 访问 http://localhost:{port} 查看文档 PYPI pip install airflow-doc-zh airflow-doc-zh # 访问 http://localhost:{port} 查看文档 NPM npm install -g airflow-doc-zh airflow-doc-zh # 访问 http://localhost:{port} 查看文档 贡献指

Apache Airflow Celery 消息中间件命令执行漏洞CVE-2020-11981POC脚本 Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具， 不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。 这个平台拥有和 Hive、Presto、MySQL、HDFS、Postgres 等数据源之间交互的能力，并且提供了钩子（hook）使其拥有很好地扩展性。除了一个命令行界面，该工具还提供了一个基于 Web 的用户界面可以可视化管道的依赖关系、监控进度、触发任务等。 Apache Airflow是一款开源的，分布式任务调度框架。在其1.10.10版本及以前，如果攻击者控制了Celery的消息中间件（如Redis/RabbitMQ），将可以通过控制消息，在Worker进程中执行任意命令。

ApacheAirflow是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的cron脚本任务，或者是大数据的批处理任务，Airflow 可能是能帮助您解决目前困境的神器。本文将为那些想要寻找新的工具或者说不知道有这款工具的同学了解Airflow 编写工作线提供入门教程。Airflow工作流设计称为有向非循环图（DAG）。这意味着，在编写工作流时，您应该考虑如何将

苏打SQL SQL可访问数据的数据测试，监视和分析。 苏打SQL有什么作用？ 苏打SQL可让您 检测到不良数据时停止管道 通过超高效SQL提取指标和列配置文件 通过声明性配置文件完全控制指标和查询 为什么要使用苏打SQL？ 为了防止数据的使用者遭受静默数据问题，最好的方法是分析和测试数据： 当它降落在您的仓库中时， 在每个重要的数据处理步骤之后 就在消费之前。 这样，您可以防止将不良数据传递给下游使用者。 您将花费更少的时间进行消防并获得更好的声誉。 苏打SQL如何工作？ Soda SQL是一个命令行界面（CLI）和Python库，用于使用SQL测量和测试您的数据。 作为输入，Soda SQL使用YAML配置文件，其中包括： SQL连接详细信息 要计算什么指标 对测量进行哪些测试 基于这些配置文件，Soda SQL将执行扫描。 扫描将执行所有测量并运行与一个表关联的所

代码演示，如何编写基本的Airflow以实现从Mysql到Hive的增量导入。 ＃问题陈述：-MySQL具有名为'employee_profile'的表，该表具有雇员信息，包括名字，姓氏和SSN。 脚本应检查表中是否有新记录和修改过的记录，并使用修改后的更新记录更新相应的配置单元表，并且配置单元中还应具有带有屏蔽的社会安全号（SSN）的附加表。 使用Sqoop实现增量导入，并使用Airflow自动化该过程。 1）设定数据 我）在MySQL中创建表 CREATE TABLE `employee_profile` ( `profile_id` VARCHAR(255) NOT NULL, `first_name` VARCHAR(45) NULL, `last_name` VARCHAR(45) NULL, `modified_date` DATETIME NULL, `

airflow触发器可以一个dag中同时触发一个或者多个子dag，也可在子触发了的dag中在触发一个或者多个dag。

airflow笔记资料

airflow的安装文件constraints-3.6.txt

Airflow入门资料

anaconda的安装airflow及使用总结