Apache Spark 2.x for Java Developers,使用Java开发Spark

Spark原著中文版，原理讲的还不错，想了解spark技术的可以阅读下本书

大数据技术在分析与挖掘交通大数据方面扮演着越来越重要的角色.为了快速有效地对出租车的运营模式与载客策略进行分析，设计效益指数模型对出租车效益进行量化排序，以高效益出租车为研究对象，基于Spark大数据框架开发一个轨迹数据处理与可视化平台.首先，处理高效益出租车轨迹数据得到用于可视化的特征数据.而后进行可视化分析，包括：统计分析高效益出租车运营特性并实现交互式图表展示，采用蜂窝形格网与DBSCAN算法对不同时段高效益出租车载客点进行热点可视化，实现基于缓冲区的交互式轨迹查询并提取出轨迹相关因子.最后，利用成都市出租车GPS轨迹数据验证了所提平台的有效性及可靠性.

1.1.1 Spark基础入门； 1.1.2 Spark集群搭建； 2.1 Spark编程实例； 2.2 简易电影受众系统； 3 Spark计算引擎剖析； 4、Spark应用经验与程序调优； 5.1 SparkSQL与DataFrame； 5.2 SparkSQL程序设计基础； 6.1Spark+SQL程序设计基础； 7、Spark+Streaming应用及案例分析； 8.1 Spark MLlib基础与应用； 8.2 信用卡欺诈检测系统； 9.1 Spark综合案例：简易电影推荐系统； 9.2 Spark其他相关开源系统；

深入理解Sp深入理解SPARK：核心思想与源码分析》结合大量图和示例，对Spark的架构、部署模式和工作模块的设计理念、实现源码与使用技巧进行了深入的剖析与解读。 《深入理解SPARK：核心思想与源码分析》一书对Spark1.2.0版本的源代码进行了全面而深入的分析，旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐、阿里巴巴资深Java开发和大数据专家撰写。ark+核心思想与源码分析.pdf完整版

Spark实战项目，基于scala语言的，很好的练手项目，主要技术：kafka，spark2.1.1，zookeeper，redis。分享尝鲜版

集群硬件配置 在集群中，大部分的机器设备是作为Datanode和TaskTracker工作的Datanode/TaskTracker的硬件规格可以采用以下方案： 16-24GB内存 千兆以太网 NameNode提供整个HDFS文件系统的NameSpace(命名空间)管理、块管理等所有服务，因此需要更多的RAM，与集群中的数据块数量相对应，并且需要优化RAM的内存通道带宽，采用双通道或三通道以上内存。硬件规格可以采用以下方案： 16-72GB内存 千兆/万兆以太网 SecondaryNameNode在小型集群中可以和NameNode共用一台机器，较大的群集可以采用与NameNode相同的硬件

使用Spark框架进行网站用户购物分析 目的 1、熟悉Linux系统、MySQL、Spark、HBase、Hive、Sqoop、R、Eclipse、IntelliJ Idea等系统和软件的安装和使用； 2、了解大数据处理的基本流程； 3、熟悉数据预处理方法； 4、熟悉在不同类型数据库之间进行数据相互导入导出； 5、熟悉使用R语言进行可视化分析； 6、熟悉使用Eclipse或IntelliJ Idea编写Java程序操作HBase数据库 要求 1、对文本文件形式的原始数据集进行预处理 2、把文本文件的数据集导入到数据仓库Hive中 3、对数据仓库Hive中的数据进行查询分析 4、使用Sqoop将数据从Hive导入MySQL 5、使用Sqoop将数据从MySQL导入HBase 6、使用HBase Java API把数据从本地导入到HBase中 7、使用R对MySQL中的数据进行可视化分析

spark实验5 rdd编程2.doc

spark入门学习教程，包含spark各个模块的介绍及使用方式，总共16讲内容，入门教程