-_11.11_storm-spark-hadoop
hadoop_storm_spark结合实验的例子，模拟淘宝双11节，根据订单详细信息，汇总出总销售量，各个省份销售排行，以及后期SQL分析，数据分析，数据挖掘等。
--------大概流程-------
第一阶段（storm实时报表）
(1)用户订单入kafka队列，
(2)经过storm，实时计算出总销售量，和各个省份的的销售量，
(3)将计算结果保存到hbase数据库中。
第二阶段（离线报表）
(1)用户订单入oracle数据库，
(2)通过sqoop把数据导入hadoop上。
(3)使用mr和rdd对hadoop上的原始订单做etl清洗
(4)建立hive表和sparkSQL内存表。为后期分析做基础
(5)使用HQL实现业务指标分析，和用户画像分析，将结果存在mysql中。供web前台使用
第三阶段（大规模订单即席查询,和多维度
2021-06-22 15:04:33
26KB
1
中国31省份营商环境研究报告2020-北大光华-2020.12.26-465页.pdf
2021-06-20 09:02:31
6.48MB
20201226-光华管理学院-2020中国省份营商环境研究报告.pdf
2021-06-19 19:02:57
3.55MB
本数据下载自中国国家统计局，数据真实可靠，但缺点是只有2000年以来的，也欢迎大家补充前期的数据，本数据主要质量较高，来源比较可信，在写论文的时候也可以进行引用。
2021-06-18 14:54:54
4KB
1
中国（全国）省份、城市、县 明细Excel表，已经编好了隶属关系的代号，导入数据库可以直接使用，每层级用2位数字代表，适用于任何数据库，县是齐全的，共2852行。
2021-06-17 11:36:07
120KB
1
根据公开数据整理形成历年各省投入产出表数据（2002、2007、2012）
投入产出表又称部门联系平衡表，是反映一定时期各部门间相互联系和平衡比例关系的一种平衡表。
投入产出简表如下。
表中第Ⅰ象限反映部门间的生产技术联系，是表的基本部分；
第Ⅱ象限反映各部门产品的最终使用；第Ⅲ象限反映国民收入的初次分配；
第Ⅳ象限反映国民收入的再分配，因其说明的再分配过程不完整，有时可以不列出。
2021-06-17 11:07:03
2.4MB
1