flume-http-handler
该项目适用于flume http源处理程序
2022-05-26 17:50:23
4KB
1
python
多进程multiprocessing
协程+异步http syncio+aiohttp
读写redis+Kafka
延时处理--调度 apscheduler
shell 高并发后台运行脚本
2022-05-26 14:06:09
8KB
1
kafka_2.12-2.3.0版本
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：
通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
支持通过kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。
卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
2022-05-24 21:16:31
54.56MB
1
基于FlumeKafkaSpark-的分布式日志流处理系统的设计与实现
2022-05-22 16:01:14
446KB
1
华为客户端中的kafka与zookeeper 依赖包，因为其是定制的，如果不使用这些jar包，无法对接kerberos认证
2022-05-19 11:27:14
9.88MB
1
spark-streaming-flume-sink_2.11-2.0.0.jar的jar包。
2022-05-18 20:07:43
85KB
1
自己手动替换js，且下载了：angular-resource.js
[removed][removed]
[removed][removed]
[removed][removed]
启动指令：
java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 192.168.168.**:2181 --port 8088 --refresh 5.seconds --retain 1.days
2022-05-16 21:46:13
49.99MB
1