主要介绍了PyCharm搭建Spark开发环境的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

火花先验 使用 Spark 的蛮力 Apriori 算法实现。 该算法不继续建立关联规则。 用法 输入最大 minsup 输出分区 spark-submit \ --class "com.jgalilee.spark.apriori.JobDriver" \ --master local[4] \ ./target/scala-2.10/spark-apriori_2.10-1.0.jar \ input/transactions.txt \ 10 \ 3 \ output \ 3 input - 输入交易数据的路径。 max - 要运行的最大迭代次数。 minsup - 被视为频繁项集的最小支持度候选项集。 output - 为迭代 n 写入输出的路径 - 即 output/n partitions - 用于事务数据集的分区数。 假设 输入数据被

BigDL: 一个用于Apache Spark的分布式深度学习库 BigDL：Apache Spark 上的分布式深度学习 什么是 BigDL？ BigDL 是 Apache Spark 的分布式深度学习库； 使用 BigDL，用户可以将他们的深度学习应用程序编写为标准 Spark 程序，这些程序可以直接在现有 Spark 或 Hadoop 集群上运行。 为了轻松构建 Spark 和 BigDL 应用程序，为端到端分析 + AI 管道提供了高级 Analytics Zoo。 丰富的深度学习支持。 BigDL 以 Torch 为模型，为深度学习提供全面支持，包括数值计算（通过 Tensor）和高级神经网络； 此外，用户可以使用 BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。 极高的性能。 为了实现高性能，BigDL 在每个 Spark 任务中使用英特尔 MKL/英特尔 MKL-DNN 和多线程编程。 因此，它比单节点 Xeon 上的开箱即用开源 Caffe、Torch 或 TensorFlow 快几个数量级（即与主流 GPU 相当）

Twitter情绪分析 该项目是关于使用Apache Spark结构化流，Apache Kafka，Python和AFINN模块对所需Twitter主题进行情感分析的。 您可以了解所需主题的情感状态。 例如; 您可能对《权力的游戏》的新剧集感到好奇，并且您可能先前已经获得了某人对该新剧集的意见。 根据意见，答案可以是负的，中性的或正的。 代码说明 身份验证操作已通过Python的Tweepy模块完成。 您必须从Twitter API获取密钥。 名为TweetListener的StreamListener是为Twitter Streaming创建的。 StreamListener为名为“ t

对于 90%以上想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，家林把 Spark 集群的构建分为了四个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的 Spark 集群。

scala-intellij-bin-2019.1.9IDEA-scala插件，支持2019.1.X版IDEA。极难下载

Spark源码解读迷你 RDD、Spark Submit、Job、Runtime、Scheduler、Spark Storage、Shuffle、Standlone算法、Spark On yarn。。。

大数据的应用场景及技术选型,电子书，基础知识，适合初学者阅读

本PPT为世纪佳缘研发中心总监吴金龙对Spark的介绍，侧重Mllib机器学习，GraphX图处理两个模块。世纪佳缘在Spark集群上利用机器学习和图算法实现推荐算法。

亚马逊美食评论50万数据集(Amazon Fine Food Reviews) 之前做评论分类 好不容易找到的数据集 分享了。 需要更多资源请关注。 Github: https://github.com/huangyueranbbc