基于flume+kafka+实时计算引擎（storm,spark,flink）的实时计算框架目前是比较火的一个分支，在实时数据采集组件中flume扮演着极为重要角色，logtash是ELK的重要组件部分，filebeat也是一个实时采集工具；
2021-04-14 15:13:12
42KB
1
1.filebeat收集需要提取的日志文件，将日志文件转存到kafka集群中，logstash处理kafka日志，格式化处理，并将日志输出到elasticsearch中，前台页面通过kibana展示日志。
2.使用kafka集群做缓存层，而不是直接将filebeat收集到的日志信息写入logstash，让整体结构更健壮，减少网络环境，导致数据丢失。filebeat负责将收集到的数据写入kafka，logstash取出数据并处理。
2021-03-31 16:02:47
2.67MB
1
学习使用FileBeat采集MQ日志到Elasticsearch时所需资料
2021-03-23 09:07:29
83KB
1
filebeat-7.10.2-linux-x86_64.tar.gz filebeat-7.10.2-linux-x86_64.tar.gz
2021-03-11 19:06:59
32.48MB
1