Covid-仪表板管道
数据产品最终项目
关于该项目
该项目包含一个数据管道,该管道处理3个csv文件,将其插入数据库中,然后根据处理后的数据构建一个仪表板,使您可以分析每个文件的统计信息。
建于
空气流动
码头工人
码头工人组成
设计
我们基本上在docker-compose内协调气流和仪表板。 标题中描述了气流UI的
docker-compose.yaml
它初始化4个容器:
Postgres和网络服务器的气流
mysql数据库
仪表盘仪表盘streamlit
Docker文件
它有助于我们将流线型仪表板放置在Docker容器中以在docker-compose中调用它
requirements.txt
包含用于构建流线型仪表板的依赖项
data.py
包含从mysql db调用其数据的精简仪表板
dags.py
包含DAG在气流UI中执行的任务:
CSV的3个文件传感器
1
2021-04-06 06:50:25
2.16MB
Python
1