集群flume详细安装步骤，接收Kafka消息配置

使用spark集成flume，由于flume默认只支持pull消息的方式，不过它可以自定义消息拉取方式，现要使用poll方式，可以使用spark-streaming-flume-sink_2.11-2.1.0.jar包下的org.apache.spark.streaming.flume.sink.SparkSink

兼容神策开源埋点SDK，采用Nginx+Flume+kafka实现日志收集。包括nginx环境配置、Flume解密和日志格式处理、将明文数据存放到kafka的Topic下、Flink写入HDFS。

水槽时间戳过滤器 Flume拦截器根据事件标头中配置的passedTime检查时间戳字段有选择地过滤事件。 这支持基于包含或排除的过滤。 入门 克隆存储库 构建源 $ mvn clean package 创建拦截器目录并部署 $ mkdir -p /usr/lib/flume-ng/plugins.d/flume-timestamp-filter/lib $ chown -R flume:flume /usr/lib/flume-ng/plugins.d/ $ cp /path/to/flume-timestamp-filter/target/flume-timestamp-filtering-interceptor-0.0.jar /usr/lib/flume-ng/plugins.d/flume-timestamp-filter/lib/ 根据Configuration配置flum

flume 1.6.0 文件监控

本资源是对应博客 https://blog.csdn.net/mojir/article/details/95377834，为博客代码，git上传太慢，故上传于此，具体使用教程在博客有

flume-ng-1.6.0 cdh5.7.0安装包，稳定版本。大家可以自由下载

flume资源包

自己整理的Hadoop环境的一些安装，和一些简单的使用，其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用，只在自己的虚拟机（Linux centOS7）上使用测试过。按照步骤一步一步来，安装就没有问题。

apache-flume-1.7.0-bin.tar.zip，解压后是tar包