《PySpark数据分析和模型算法实战》一书着重介绍了如何运用PySpark进行数据分析和构建预测模型，特别是针对客户流失预测这一重要业务场景。在高度竞争的市场中，预测客户流失至关重要，因为保留现有客户的成本通常远低于获取新客户的成本。本项目以虚构的音乐流媒体公司“Sparkify”为背景，其业务模式包括免费广告支持和付费无广告订阅，旨在通过数据分析预测哪些用户最有可能取消订阅。 项目分为五个主要任务： 1. 探索性数据分析（EDA）：这一步涉及对数据集的初步探索，包括检查缺失值、计算描述性统计、数据可视化以及创建流失率指标，以便了解数据的基本特征和潜在模式。 2. 特征工程：在这个阶段，会创建新的特征，比如用户级别的聚合特征，以增强模型的解释性和预测能力。 3. 数据转换：利用PySpark的`Pipeline`功能，扩展并矢量化特征，为后续的机器学习模型做准备。 4. 数据建模、评估与优化：选择合适的分类模型，如随机森林分类器（RandomForestClassifier）、梯度提升树分类器（GBTClassifier）或逻辑回归（LogisticRegression），并应用交叉验证（CrossValidator）进行参数调优，同时使用MulticlassClassificationEvaluator评估模型性能，以F1分数为主要指标，考虑不平衡类别问题。 5. 总结：对整个分析过程进行总结，包括模型的性能、局限性和潜在的改进方向。 在实际操作中，我们需要先安装必要的Python库，如numpy、sklearn、pandas、seaborn和matplotlib。接着，通过PySpark的`SparkSession`建立Spark执行环境。项目使用的数据集是`sparkify_event_data.json`的一个子集——`mini_sparkify_event_data.json`，包含了用户操作的日志记录，时间戳信息用于追踪用户行为。为了评估模型，选择了F1分数，它能平衡精确性和召回率，适应于类别不平衡的情况。 在数据预处理阶段，使用了PySpark提供的多种功能，如`functions`模块中的函数（例如`max`）、`Window`对象进行窗口操作，以及`ml.feature`模块中的特征处理工具，如`StandardScaler`进行特征缩放，`VectorAssembler`组合特征，`StringIndexer`和`OneHotEncoder`处理分类变量，`Normalizer`进行特征标准化。此外，还使用了`ml.classification`模块中的分类模型，以及`ml.tuning`模块进行模型调参。 在模型训练和评估环节，除了使用PySpark内置的评估器`MulticlassClassificationEvaluator`外，还结合了Scikit-Learn的`roc_curve`和`auc`函数来绘制ROC曲线，进一步分析模型的性能。 这本书提供了关于如何使用PySpark进行大规模数据分析和构建机器学习模型的实战指导，对于理解PySpark在大数据分析领域的应用具有很高的参考价值。读者将学习到如何处理数据、特征工程、模型训练和评估等核心步骤，以及如何在Spark环境中有效地执行这些操作。

大数据集群(PySpark)+Hive+MySQL+PyEcharts+Flask：信用贷款风险分析与预测

支持spark集群下的pyspark环境生产tfrecord样本，可以使用常见的接口加载jar包对DataFrame数据进行格式转换，直接输出tfrecord文件到hdfs上。方便后续链路使用tensorflow来做进一步的样本加工和数据训练。支持spark 2.12版本。

案例基于pyspark开发，使用了线性，Ridge，LASSO，Elastic Net，决策树，梯度提升树以及随机森林7种回归模型完成预测，并使用了均方差和R2评估指数对七种模型效果进行了比较分析

gplcompression.dll,lzo2.dll 两个dll放入system32文件夹,hadoop-lzo-0.4.21-SNAPSHOT.jar 放入spark\jars

使用PySpark的贷款默认预测 使用Lending Club中包含100万以上行的数据集将贷款预测为违约/非违约 整个项目是在单个群集的Databricks云环境中完成的

windows pycharm导入本地pyspark包-附件资源

链接预测pyspark 用于链路预测的CNGFPyspark实现。 CNGF算法该有助于预测将来图中最可能连接的节点。 这可用于社交网络，以设想各种实体之间的连接。 与传统算法相比，该算法效率更高，因为它使用两个节点x和y的子图以及它们的公共邻居来预测将来的连接，而不是整个图。 它首先通过将子图中的公共邻居的度数除以整个图中该邻居的度数的对数来计算制导。 然后，它使用x和y的所有公共邻域的总和来计算相似度。 相似度越高，将来建立连接的机会就越大。 需要 Python 2.7以上 用法 要运行该程序，请克隆存储库并运行以下命令： $SPARK_HOME/bin/spark-submit --packages graphframes:graphframes:0.5.0-spark2.1-s_2.11 cngf.py file_path separator 它需要2个参数： fi

Spark-LSH 局部敏感哈希。 主要是的 PySpark 端口。 先决条件 火花 1.2+ Python 2.7+ SciPy 0.15+ NumPy 1.9+ 实施细则 该项目遵循 spark-hash Scala LSH 实现的主要工作流程。 它的核心lsh.py模块接受 RDD 支持的密集 NumPy 数组或 PySpark SparseVectors 列表，并生成一个模型，该模型只是对生成的所有中间 RDD 的包装。 下面将详细介绍每个步骤。 重要的是要注意，虽然这个管道将接受密集或稀疏向量，但来自的原始哈希函数几乎肯定会因密集向量而失败，导致所有向量都被散列到所有波段中。 目前正在开展工作以实现更均匀地分割密集向量的替代哈希函数。 对于稀疏情况，结果与的结果重复。 用法 用法遵循 spark-hash 项目的用法。 参数保持不变。 参数 命令行参数： --bins

Spark及pyspark的操作应用