rocketmq创建spark流,手动打成第三方包,修改github的BUG,支持rocketmq4.2 spark2.2.1
2022-01-08 13:48:58
241KB
1
项目以宜信贷风控系统实时数据采集系统为背景，主要描述了技术架构、核心技术难点及代码实现全过程，涉及技术包括但不限于：Kafka\zookeeper,Spark，SparkStreaming，HBase，实时访问技术，爬虫技术等
2021-12-21 22:34:26
1.43MB
1
通过flume监控文件，让kafka消费flume数据，再将sparkstreaming连接kafka作为消费者进行数据处理，文档整理实现
2019-12-21 19:28:50
3.33MB
1