本项从flume日志采集到Kafka，通过SparkStreaming进行实时处理，将清洗后得数据传到HBase进行存储，通过SpringBoot和Echarts进行实时可视展示
2021-03-22 15:04:37
327KB
1
一个手动管理spark streaming集成kafka时的偏移量到zookeeper中的小项目
2021-02-28 19:07:20
7KB
1
SparkStreaming是Spark核心API的扩展，用于可伸缩、高吞吐量、可容错地处理在线流数据。Spark
Streaming可以从很多数据源获取数据，比如：Kafka、Flume、Twitter、ZeroMQ、Kinesis或TCP连接等，并可以用很多高层算子(map/reduce/join/window等)来方便地处理这些数据。最后处理过的数据还可以推送到文件系统、数据库和在线监控页面等。实际上，你也可以在数据流上使用Spark的机器学习和图计算算法。SparkStreaming内部工作机制概图如下所示。Spark
2021-01-30 05:07:05
303KB
1
本例子包括spark count,sparksql,sparkstreaming的样例，本例子包括spark count,sparksql,sparkstreaming的样例，
2021-01-28 04:18:09
15KB
1
spark-streaming-kafka-0-8_2.11-2.4.0.jar
2021-01-28 04:16:59
296KB
1
记得自己要引入环境
（1）利用SparkStreaming从文件目录读入日志信息，日志内容包含：
”日志级别、函数名、日志内容“ 三个字段，字段之间以空格拆分。请看数据源的文件。
（2）对读入都日志信息流进行指定筛选出日志级别为error或warn的，并输出到外部MySQL中。
需要用到的函数
（1）输入采用textFileStream()算子
（2）输出采用foreachRDD()算子
（3）将RDD转为DataFrame
（4）DataFrame注册为临时表，使用SQL过滤
（5）将过滤后的数据保存到MySQL
2019-12-21 20:45:17
938KB
1
通过flume监控文件，让kafka消费flume数据，再将sparkstreaming连接kafka作为消费者进行数据处理，文档整理实现
2019-12-21 19:28:50
3.33MB
1