自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。

Flume + kafka + log4j构建日志采集系统，附实例及文档。

hdfs sink相关hadoop jar包。亲测有效，请注意版本。也可根据错误日志自己去hadoop jar包里找。注意另外两个xml要放到flume conf目录下，这里只提供jar包。

flume-ng-sql-source-1.5.3.jar，flume采集mysql数据jar包，将此文件拖入FLUME_HOME/lib目录下，如果是CM下CDH版本的flume，则放到/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib下，同样需要的包还有mysql-connector-java-5.1.XX-bin.jar，也需要一并放入。

需求：获取oracle表增量信息，发送至udp514端口，支持ip配置 步骤： （1）需要的jar  oracle的 odbc5.jar（oracle安装目录  /jdbc/lib下查找） （2）flume的开源包flume-ng-sql-source-1.4.3.jar  最新的好像是1.5的 小版本记不住了 这个下载地址直接csdn上就有 这两个jar 都拷贝到flume的lib下 （3）flume配置文件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #接收syslog配置 #a1.sources.r1.type = syslogudp

该flume项目是将接收到的ftp数据，进行按照指定格式进行分割，然后将数据保存到mysql中

学习kafka相关概念以及使用方法，kafka相关运行原理和执行流程，结合javaAPI，拦截器的相关实现，flume整合kafka等等

Thrift is a software framework for scalable cross-language services development.hive 1.x以上用这个代替libfb303.jar

6大数据中Flume 的应用与学习

大数据必学框架-Flume.md