讲述如何采用最简单的kafka+flume的方式，实时的去读取oracle中的重做日志+归档日志的信息，从而达到日志文件数据实时写入到hdfs中，然后将hdfs中的数据结构化到hive中。

本文来自于博客园,文章主要从Flume的应用场景以及Flume的结构和组件，简单的介绍了Flume，希望对大家有帮助。flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一.1.什么是flume?apacheFlume是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的

LogCollector是一套基于ETL数据分析模型的分布式数据流系统，同时适用于云域内网数据传送和跨云数据传送；同时支持Windows和Linux双系统平台（内置JRE8.X）；同时支持实时传送、离线传送和断点续传；同时支持组件化集成、服务化管理和插件化扩展；同时支持单机单实例、多实例部署以及跨云级别的分布式集群部署，分布式场景下通过过载熔断事务反馈机制来保障各子系统数据一致性，收集器可一键安装部署，自动识别系统环境并完成相应配置，无需任何附加操作，解压开箱即用。该系统框架的功能和性能可直接秒杀ELK、Flume、Kettle等数据流工具，系统框架使用说明参考如下地址： https://blog.csdn.net/lixiang2114/article/details/114239052

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

实时大数据分析，找了很久才发现这个资源是我想找的，对学习大数据很有帮助

apache-flume-1.9.0-bin.tar，kafka_2.11-0.10.1.0，zookeeper-3.3.6_.tar 压缩 到了一个logs.rar文件中，需要的请下载

Hadoop数据导入导出 ：Flume收集数据-安装讲课

flume 想要将数据输出到hdfs，必须要有hadoop相关jar包。本资源是hadoop 2.7.7版本

基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码。 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： https://blog.csdn.net/linge1995/article/details/81326146 Spark Stream 实时监控

39天视频资源，网上买的，自己在学，之前买的没课件和安装包，这一份都有，已经学到hbase了，各种搭建资源根据视频来都能跑通，很不错。