大数据相关框架学习
本仓库主要存放了一些学习大数据的实战项目代码，项目来源主要来自慕课网
1. 集群搭建
这里面的项目都可以通过搭建单机standalone模式完成整个流程
这学期云计算课程需要使用集群环境，刚好学校有云资源，记录下集群搭建过程
2. 目录结构
hadoop-train
Hadoop基础与电商行为日志分析 新手入门大数据
本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术（如：HDFS、YARN、MapReduce以及Hive），并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！
项目博客
spark-train, spark-data-visualization
Spark Streaming实时流处理项目实战
本课程从实时数据产生和流向的各个环节出发，通过集成主流的分布式日志收集框架Flume、分布
2022-06-01 16:43:50
5.25MB
1
此案例使用的是IDEA开发工具，项目属于maven项目
该词频统计案例中，数据源是自动产生的（java程序自定义生成的），针对自定义生成的数据完成词频统计，完成后打包上传到storm程序中执行
2022-05-30 19:07:53
4.72MB
1
Storm Core Java API 和 Clojure 实现。
org.apache.storm/storm-core/2.2.0/storm-core-2.2.0.jar
2022-05-20 20:22:51
107KB
1
Storm Core Java API 和 Clojure 实现。
org.apache.storm/storm-core/1.1.0/storm-core-1.1.0.jar
2022-05-20 20:12:34
22.52MB
1
Storm Core Java API 和 Clojure 实现。
org.apache.storm/storm-core/0.9.5/storm-core-0.9.5.jar
2022-05-20 20:07:53
10.37MB
1
Storm Core Java API 和 Clojure 实现。
org.apache.storm/storm-core/0.9.2-incubating/storm-core-0.9.2-incubating.jar
2022-05-20 19:57:16
5.06MB
1
风暴弹性调度器
待定...
编译
mvn 包
安装（确保相应地更改 STORMDIR）
./install.sh
2022-05-12 19:10:28
707KB
1