自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。详细的记录下来Kafka接收Flume数据并存储至HDFS过程

apache-flume-1.6.0-bin.tar.gz.zip 提示：先解压出来再使用最外层是zip压缩文件

水槽尾源 一个器，它使用来拖尾文件并将每一行作为事件提交。 示例配置 ... agent.sources.tailSource.type = uk.co.probablyfine.flume.TailerSource agent.sources.tailSource.filePath = /var/tmp/test.txt ... 唯一需要的参数是指向源文件的filePath 。 安装 使用mvn package创建一个 jar 并将其包含在水槽目录中。 执照 麻省理工学院

Flume构建高可用、可扩展的海量日志采集系统.PDF Flume构建高可用、可扩展的海量日志采集系统.PDF Flume构建高可用、可扩展的海量日志采集系统.PDF

自动化采集工具开发包，需要的童鞋自取

commons-io-2.4.jar，hadoop-auth-2.7.3.jar，hadoop-common-2.7.3.jar，hadoop-hdfs-2.7.3.jar，htrace-core-3.1.0-incubating.jar五个包是flume1.7连hdfs所需要的外部包

hadoop总结.md

MartinHub的学习笔记 关于我 MartinHub :smiling_face_with_sunglasses: ，，热爱生活！热爱技术！ 微信公众号【MartinHub】 个人微信号【MartinHub】 项目介绍 大数据 Java 数据库 Linux 杂记 :bullseye: :hot_beverage: :floppy_disk: :cloud: :memo: :black_nib:本仓库有来源自己总结，网上收集，视频笔记，如果有区别之处，可以联系我进行删除。 :scroll:笔记仓库： GitHub上： Gitee： :scroll:笔记地址： GitHub上： Gitee： 因个人能力有限，笔记中可能还有很多错误的地方，还请大家能够多多指出交流，也欢迎各位小伙伴能够提交拉请求请求进行完善。 注意：因为构建页面的框架缓存，访问笔记地址时，为防止最新更新的笔记看不到，请浏览器打开网址后，先清除页面缓存。

手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 课程简介 从零开始讲解大数据业务及数据采集和迁移需求，以案例驱动的方式讲解基于Flume构建高容错高可靠的分布式数据采集平台。 课程亮点 1，知识体系完备，从小白到大神各阶段读者均能学有所获。 2，生动形象，化繁为简，讲解通俗易懂。 3，结合工作实践及分析应用，培养解决实际问题的能力。 4，每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章：企业级需求 1.大数据迁移及采集问题概述 2.分布式解决方案Flume 3.Flume运行原理及架构详解 第二章：Flume一站式快速部署方案 1.Flume企业级版本选型 2.Flume部署环境选型 3.Flume快速部署方案 第三章：Flume企业级全场景业务案例 1.单日志动态监控采集方案 2.分时日志实时监控采集 3.多数据源动态采集方案 4.内存式高性能缓存方案 5.实时采集存储HDFS 6.多目标存储架构 7.Flume多层采集架构 第四章：一招解决Flume数据容错 1.Flume高级组件：SinkProcess 2.Flume故障转移 3.Flume负载均衡 第五章：半小时搞定Flume最难组件 1.拦截器功能及应用场景 2.Timestamp Interceptor 3.Host Interceptor 4.Static Interceptor 5.RegexFilter Interceptor 6.拦截器开发实战 第六章：Flume面试核心要点全讲解 1.Source功能及原理 2.Channel功能及原理 3.Sink功能及原理 4.Source开发实战 5.Sink开发实战

《Apache Flume Distributed Log Collection for Hadoop》中文翻译版，全书100页，本书注重于Flume应用，不涉及源码研究，想了解更多请加群：220278956