1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建.pdf 2.Spark编译与部署（下）--Spark编译安装.pdf 2.Spark编译与部署（中）--Hadoop编译安装.pdf 3.Spark编程模型（上）--概念及SparkShell实战.pdf 3.Spark编程模型（下）--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive（上）--Hive介绍及部署.pdf 5.Hive（下）--Hive实战.pdf 6.SparkSQL（上）--SparkSQL简介.pdf 6.SparkSQL（下）--Spark实战应用.pdf 6.SparkSQL（中）--深入了解运行计划及调优.pdf 7.SparkStreaming（上）--SparkStreaming原理介绍.pdf 7.SparkStreaming（下）--SparkStreaming实战.pdf 8.SparkMLlib（上）--机器学习及SparkMLlib简介.pdf 8.SparkMLlib（下）--SparkMLlib实战.pdf 9.SparkGraphX介绍及实例.pdf 10.分布式内存文件系统Tachyon介绍及安装部署.pdf

sparkmllib机器学习.

对Spark MLlib矩阵进行了介绍与基本讲解

课程目录： 第一课 Spark MLlib基础入门 1、Spark介绍 2、Spark MLlib介绍 3、课程的基础环境 4、Spark RDD操作 5、RDD操作的代码实操 第二课 Spark MLlib矩阵向量 1、Spark MLlib矩阵向量 2、矩阵向量的代码实操 第三课 Spark MLlib线性回归算法 1、线性回归算法 2、源码分析 3、实例 4、实例的代码实操 第四课 Spark MLlib逻辑回归算法 1、逻辑回归算法 2、源码分析 3、实例 4、实例的代码实操 第五课 Spark MLlib贝叶斯分类算法 1、贝叶斯分类算法 2、源码分析 3、实例 4、实例的代码实操 第六课 Spark MLlib决策树算法 1、决策树算法 2、源码分析 3、实例 4、实例的代码实操 第七课 Spark MLlib KMeans聚类算法 1、KMeans聚类算法 2、源码分析 3、实例 4、实例的代码实操 第八课 Spark MLlib FPGrowth关联规则算法 1、FPGrowth关联规则算法 2、源码分析 3、实例 4、实例的代码实操 第九课 Spark MLlib协同过滤推荐算法 1、协同过滤推荐算法 2、源码分析 3、实例 4、实例的代码实操 第十课 Spark MLlib神经网络算法 1、神经网络算法 2、源码分析 3、实例 4、实例的代码实操

以决策树作为开始，因为简单，而且也比较容易用到，当前的boosting或randomforest也是常以其为基础的决策树算法本身参考之前的blog，其实就是贪婪算法，每次切分使得数据变得最为有序无序，nodeimpurity对于分类问题，我们可以用熵entropy或Gini来表示信息的无序程度对于回归问题，我们用方差Variance来表示无序程度，方差越大，说明数据间差异越大用于表示，由父节点划分后得到子节点，所带来的impurity的下降，即有序性的增益下面直接看个regression的例子，分类的case，差不多，还是比较简单的，由于是回归，所以impurity的定义为variancema

spark Mllib 协同过滤测试数据包含一部分用户对电影的评分数据（用于测试）