深圳地铁大数据客流分析系统
如果图片不能正常显示请移步码云地址:
项目参考
本项目借鉴了 SZT-bigdata 深圳地铁大数据客流分析系统 ,对数据处理部分进行了借鉴,并在原作者的框架下进行了大量改动,原作者使用数据仓库的模式对数据进行查询和可视化取得了非常不俗的成果,本人由于时间原因和数据集规模不算特别大(百万级)没有走数据仓库的技术路线,使用 Flink 完成数据清洗和聚合后,再使用 Elasticsearch + Kibana 的的技术路线,完成了客流信息,地铁收入、乘客车费、乘车区间和乘车时间的查询和可视化。在此基础上,还使用 Flink 实现了计算各线路、站点和乘车区间的客流信息等实时计算功能,并将实时计算的结果写入到Hbase中,供下游业务查询使用。
再次对原作者的非凡的技术成果表示感谢,本人深受启发。原作者优秀的数仓建模和查询分析也已经列入本人后续的学习计划。
1 数据集
1