大数据相关框架学习
本仓库主要存放了一些学习大数据的实战项目代码，项目来源主要来自慕课网
1. 集群搭建
这里面的项目都可以通过搭建单机standalone模式完成整个流程
这学期云计算课程需要使用集群环境，刚好学校有云资源，记录下集群搭建过程
2. 目录结构
hadoop-train
Hadoop基础与电商行为日志分析 新手入门大数据
本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术（如：HDFS、YARN、MapReduce以及Hive），并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！
项目博客
spark-train, spark-data-visualization
Spark Streaming实时流处理项目实战
本课程从实时数据产生和流向的各个环节出发，通过集成主流的分布式日志收集框架Flume、分布
2022-06-01 16:43:50
5.25MB
1
此案例使用的是IDEA开发工具，项目属于maven项目
使用Flink JavaAPI实现的流处理、批处理（其中还包括Table API的使用和SQL API的使用），主要针对（《Flink入门与实战》徐葳著）教材中的实验使用
2022-05-30 18:04:28
41.65MB
1
此案例使用的是IDEA开发工具，项目属于maven项目
使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。
根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用
2022-05-30 18:04:27
37KB
1
flink 1.14.3集成hadoop 3.2.3的jar包，flink启动yarn session时需要将该jar放到flink的lib目录下
2022-05-29 14:06:01
56.45MB
1