关于Python+Spark 的使用、PySpark编程，Python+Hive大数据分析等的视频讲解（含讲义、代码、笔记、软件等），原价值千元内部培训教程现对外公开。

PySpark电商分析案例讲解，Python+Spark，Python+Spark SQL,Python+SparkStream,Python+Hive等视频讲解，含讲义、代码、笔记、软件等，原价值千元内部培训教程现免费对外公开。

pyspark 和anaconda 搭建集群

sparkxgb.zip pyspark xgboost-spark python api

分布式机器学习：模型平均MA与弹性平均EASGD（PySpark）.doc

pyspark 基于simhash做相似聚合代码工程

给大家分享一套课程——PySpark大数据处理及机器学习Spark2.3，完整版视频课程下载。提供课件、源码。 本课程主要讲解Spark技术，借助Spark对外提供的Python接口，使用Python语言开发。涉及到Spark内核原理、Spark基础知识及应用、Spark基于DataFrame的Sql应用、机器学习等内容。由浅到深的带大家深入学习大数据领域最火的项目Spark。帮助大家进入大数据领域，抓住大数据浪潮的尾巴。

之前的博文使用pyspark.mllib.recommendation做推荐案例，代码实现了如何为用户做电影推荐和为电影找到潜在的感兴趣用户。本篇博文介绍如何利用因子分解出的用户特征、电影特征做用户和电影的聚类分析，以看能否找到不同于已知的、有趣的新信息。 第一步：获取用户评分数据显式因式分解后的movieFactors、userFactors。 from pyspark.mllib.recommendation import ALS,Rating #用户评分数据 rawData = sc.textFile("/Users/gao/data/ml-100k/u.data") rawRatin

PySpark_Housing_Models 三种PySpark机器学习模型可预测房屋与海洋的距离

dlsa分布式最小二乘近似 使用Apache Spark实施 介绍 在这项工作中，我们开发了一种分布式最小二乘近似（DLSA）方法，该方法能够解决分布式系统上的大量回归问题（例如，线性回归，逻辑回归和Cox模型）。 通过使用局部二次形式逼近局部目标函数，我们可以通过对局部估计量进行加权平均来获得组合估计量。 在统计上证明了所得的估计器与全局估计器一样有效。 而且，它只需要一轮通信。 我们使用自适应套索方法进一步基于DLSA估计进行收缩估计。 通过在主节点上使用LARS算法，可以轻松获得该解决方案。 从理论上讲，通过使用新设计的分布式贝叶斯信息准则（DBIC），得出的估计量具有oracle属性，并且选择一致。 广泛的数值研究和航空公司数据集进一步说明了有限的样本性能和计算效率。 整个方法已在的Spark系统中实现。 R软件包dlsa提供了上可用的概念演示。 系统要求 Spark >= 2