行业分类-作业装置-一种基于Spark+Streaming的动态更新共享数据方法.7z
2021-08-10 14:03:04
271KB
spark3.0.0版本对接kafka数据源需要的jar包，最新的版本导致maven的阿里云仓库不能直接下载下来，所以需要手动导入jar包进行操作，有需要的朋友可以免费下载
2021-07-25 00:01:03
138KB
1
spark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar
2021-07-08 09:01:57
12.77MB
1
本资源来源于万方，属于学术论文，包括几篇硕士论文，几篇期刊论文。结合自然语言处理和推荐系统的，还有日志处理的。侵删。
2021-06-18 12:18:49
29MB
1
Spark 项目流
org.apache.spark/spark-streaming_2.12/2.4.1/spark-streaming_2.12-2.4.1.jar
2021-06-15 00:25:58
1.1MB
1
Spark 项目流
org.apache.spark/spark-streaming_2.11/2.1.1/spark-streaming_2.11-2.1.1.jar
2021-06-15 00:06:48
2MB
1
使用spark集成flume，由于flume默认只支持pull消息的方式，不过它可以自定义消息拉取方式，现要使用poll方式，可以使用spark-streaming-flume-sink_2.11-2.1.0.jar包下的org.apache.spark.streaming.flume.sink.SparkSink
2021-06-14 23:11:30
85KB
1
echo "auth=no" >> /etc/qpid/qpidd.conf
systemctl start qpidd
qpid-config add queue default
——
sbt "run-main com.redhat.summitdemo.scanner.ScannerSimulator"
sbt "run-main com.redhat.summitdemo.scanner.ScannerDataProcessor"
——
sbt assembly
spark-submit --jars target/scala-2.10/spark-streaming-jms-assembly-0.0.1.jar example.py
2021-06-08 18:05:00
17KB
1