介绍
基于Spark的高校数据分析系统 。同时实现了Spark-core(被注释了);Spark-ML,Spark-streaming。
spark-streaming虽然过时很久了,但是对于我学习来说还是够了。 streaming存在很多的弊端,但是主要思想还是处理流式RDD。
新手gitter,不知道怎么处理项目文件的。这是文件夹的下面的说明,
spark_student:IDEA项目文件。
makeDataByPython : 模拟服务器制造log日志的python代码。
other : 代码设计过程中的思路和想法。
PPT:项目展示的PPT。
reference_code :参考代码。
reference_data:参考数据。
running_sh:软件运行脚本。
spark_JAR:web_spark.jar。
README.assets:是README.md 的引用文件。
软件架构
运行环境:centos 6.x、java、kafka、zookeeper、Flume、Hbase、HDFS、YARN、Spark、MySQl。
2025-12-29 02:22:00
173.02MB
spark
1