避免流式传输 前言：使用scala和java混编完成，其中也涉及到python脚本来自动生成日志，linux crontab调度工具来定时执行脚本生成实时日志。生成的数据主要是模拟某学习网站学习视频课程的访问量（其中*以“ / class”开头的表示实战课程，然后通过流水线Flume + Kafka + SparkStreaming进行实时日志的收集，HBase来存储数据）* 注意事项（使用的软件工具及环境配置） hadoop-2.6.0-cdh5.7.0 hbase-1.2.0-cdh5.7.0 zookeeper-3.4.5-cdh5.7.0 spark-2.2.0-bin-2.6

这本书绝不仅仅是在讲流式处理，它的真名是"总结过去10年大数据处理发展的历史，Google的经验; 提出新的理论，升维我们的思维模式，降维打击我们的复杂问题；展现目前的行业趋势，预测未来的行业走势…."，这本书几乎影响了我对所有分布式系统的理解。

比较冷门的UltraEdit编辑器中的关于Scala的高亮文件类型wordfile,使用方法，下载好的scala.uew文件放入UltraEdit编辑器所在目录下的worldfiles文件夹下面，然后进入UltraEdit编辑器设置中 高级--》设置--》编辑器显示--》语法高亮--》添加语言

spark3_docker 使用Java 1.8，Python 3.8.5和Scala 2.13的Spark 3的Docker映像 步骤1：安装Docker 步骤2：为Docker桌面提供适当的资源。 如果您使用的是Windows 10或Mac OS，请确保至少提供系统内存和处理器总数的一半。 我有八个核心处理器和32 GB的Ram。 因此，我为docker hub提供了六个内核和16 GB的ram空间。 步骤3：使用提取Docker映像 docker pull sandipanghosh / spark3_hadoop3：latest 步骤4：使用 docker容器运行-it -v / host_path / docker_data /：/ root / docker_data --name spark3 -p 8080：8080 -p4040：4040 spark3_hado

本课程基于企业大数据经典案例项目（大数据日志分析），全方位、全流程讲解 大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。 不管是零基础的大数据技术爱好者，还是有基础的IT小白，都可以通过此课程快速的上升到一个新的高度。 涉及技术： Hadoop2.x、spark，Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、MySQL、Hue、J2EE、websoket、Echarts

Spark&Scala安装教程,适合Spark和Scala的初学者

spark思维导图，整理的spark的各个模块的简介以及主要接口。 spark思维导图。 自己按照官方文档，整理的spark的各个模块的简介以及主要接口 大数据机器学习

Spark零基础思维导图(内含spark-core ，spark-streaming,spark-sql)，总结的很全面。 Spark零基础思维导图(内含spark-core ，spark-streaming,spark-sql)。 Spark零基础思维导图(内含spark-core ，spark-streaming,spark-sql) spark

使用spark+flask做的小项目