Spark ml pipline交叉验证之线性回归 工具开发 //创建回归评估器，用于基于训练集的多次训练后的模型选择 //创建交叉验证器，他会把训练集分成NumFolds份，然后在其中(NumFolds-1)份里进行训练 //在其中一份里进行测试，针对上面的每一组参数都会训练出NumFolds个模型，最后选择一个最优的模型 //对最优的模型做一个模型评估

回归算法用数据集，加利福尼亚房价预测，longitude，latitude，housingMedianAge，totalRooms，totalBedrooms ，population，households，medianIncome，edianHouseValue几列，20641行数据，数据标准，适合模型训练。

人工智能-推荐系统-电影推荐-基于Spark ML实现的豆瓣电影推荐系统

实验 Spark ML Bisecting k-means聚类算法使用，实验文档

dlsa分布式最小二乘近似 使用Apache Spark实施 介绍 在这项工作中，我们开发了一种分布式最小二乘近似（DLSA）方法，该方法能够解决分布式系统上的大量回归问题（例如，线性回归，逻辑回归和Cox模型）。 通过使用局部二次形式逼近局部目标函数，我们可以通过对局部估计量进行加权平均来获得组合估计量。 在统计上证明了所得的估计器与全局估计器一样有效。 而且，它只需要一轮通信。 我们使用自适应套索方法进一步基于DLSA估计进行收缩估计。 通过在主节点上使用LARS算法，可以轻松获得该解决方案。 从理论上讲，通过使用新设计的分布式贝叶斯信息准则（DBIC），得出的估计量具有oracle属性，并且选择一致。 广泛的数值研究和航空公司数据集进一步说明了有限的样本性能和计算效率。 整个方法已在的Spark系统中实现。 R软件包dlsa提供了上可用的概念演示。 系统要求 Spark >= 2

星火森林 隔离林（iForest）是关注异常隔离的有效模型。 iForest使用树结构来对数据建模，与正常点相比，iTree隔离离树根更近的异常。 通过iForest模型计算异常分数，以测量数据实例的异常。 越高，越异常。 有关iForest的更多详细信息，请参见以下论文：[1]和[2]。 我们在Spark上设计并实现了分布式iForest，该iForest通过基于模型的并行性进行训练，并通过基于数据的并行性来预测新的数据集。 它通过以下步骤实现： 从数据集中采样数据。 为每个iTree采样数据实例并将其分组。 如该论文所述，用于构建每棵树的样本数量通常不是很大（默认值256）。 因此，我们可以构造采样对RDD，其中每个行键是树索引，行值是一组树的采样数据实例。 通过地图操作并行训练和构建每个iTree，并收集所有iTree来构建iForest模型。 使用收集的iForest模

spark机器学习算法研究和源码分析 本项目对spark ml包中各种算法的原理引入和对算法的代码实现进行详细分析，预测加深自己对机器学习算法的理解，熟悉这些算法的多样化实现方式。 本系列文章支持的spark版本 火花2.x 本系列的目录结构 本系列目录如下： 说明 本专题的大部分内容来自，，并不用于商业用途。转载请注明本专题地址。本专题引用他人的内容均列出了参考文献，如有侵权，请务必邮件通知作者。邮箱地址： endymecy@sina.cn 。 本专题的部分文章中用到了latex来写数学公式，可以在浏览器中安装MathJax插件使用展示这些公式。 本人水平有限，分析中难免有错误和误解的地方，请大家不吝指教，万分感激。有问题可以到讨论。 执照 本文使用的许可见

Today's Web-enabled deluge of electronic data calls for automated methods of data analysis. Machine learning provides these, developing methods that can automatically detect patterns in data and then use the uncovered patterns to predict future data. This textbook offers a comprehensive and self-contained introduction to the field of machine learning, a unified, probabilistic approach. The coverage combines breadth and depth, offering necessary background material on such topics as probability, optimization, and linear algebra as well as discussion of recent developments in the field, including conditional random fields, L1 regularization, and deep learning. The book is written in an informal, accessible style, complete with pseudo-code for the most important algorithms. All topics are copiously illustrated with color images and worked examples drawn from such application domains as biology, text processing, computer vision, and robotics. Rather than providing a cookbook of different heuristic methods, the book stresses a principled model-based approach, often using the language of graphical models to specify models in a concise and intuitive way. Almost all the models described have been implemented in a MATLAB software package--PMTK (probabilistic modeling toolkit)--that is freely available online. The book is suitable for upper-level undergraduates with an introductory-level college math background and beginning graduate students. 优点：新，全！ 由于成书时间较晚，所以涵盖了更多最近几年的hot topic，比如Dirichlet Process 。 更重要的，是全，基本上ML领域的专有名词，你都可以在书后的index找到。说道这里，不得不佩服本书的作者Kevin Murphy，剑桥的本科，UCB的博士，MIT的博后，得到过多位大牛的真传 。 还有一个非常重要的，就是这本书配备了详尽的matlab code，你几乎可以尝试书中的每一个例子。 单从以上这几点，绝对应该把他排在所有ML教材的首位！

此课程主要介绍spark ml相关内容，共分10章，前2章主要介绍scala、spark原理，后面每章一个算法应用、算法原理和算法源码讲解，非常有帮助。

Spark ML 特征工程之 One-Hot Encoding-附件资源