hive-on-spark客户端

hadoop是3.1.3，centOS8下测试通过

内容包括 1、用户访问sesssion的实时分析和根据不同条件进行过滤 2、根据用户的点击次数，下单次数，支付次数进行二次排序 3、将结果实现存入数据库，并用echart进行展示

整体系统架构和软件栈，怎样利用和改进Spark来形成最终方案。 如何搭建快速强大的特征衍生，选择和转化流程（Pipeline）。我们会在细节方面展示真实数据所带来的挑战和我们开发的采样，填充，缩放和其他领域专用的特征转换模块。我们正在将其中的许多内容贡献给Spark社区。 深入分析我们使用的算法怎样解决数据的不平衡性及与其他算法的对比结果。 在实现过程中累积的其他开发经验

tpcds 在Spark上运行TPC-DS基准测试的脚本

在 Spark 上运行 TPCDS 查询 You can submit a Spark SQL job that accesses the existing Hive metastore; once there, you will be able to run queries against your existing Hive tables. This Scala source allows you run 38 out of the 99 TPCDS queries (The Hive version supported by Spark SQL in the current release of IBM Open Platform available at http://g01zcdwas002.ahe.pok.ibm.com/software/data/infosphere/h

spark3.1.2适用于scala2.12+hadoop3.x

我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让在进入性能调优之前都是一个至关重要的问题，它的本质限制了我们调优到底要达到一个什么样的目标或者说我们是从什么本源上进行调优。希望这篇文章能为读者带出以下的启发： 了解大数据性能调优的本质 了解 Spark 性能调优要点分析 了解 Spark 在资源优化上的一些参数调优 了解 Spark 的一些比较高效的 RDD 操作算子

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

基于Spark2.x机器学习十大案例全方位剖析视频教程 十大案例全方位剖析： 案例1、基于Kaggle的StumbleUpon数据集构建分类系统 案例2、基于BikeSharing数据集构建回归模型 案例3、基于NewsCorpora数据集文本处理新闻分类 案例4、基于KMeans网络流量检测模型 案例5、基于Kaggle Avazu广告数据集构建CRT预测模型 案例6、基于聚类KMeans出租车轨迹分析 案例7、基于决策树预测森林植被 案例8、基于DataFrame API ML预测森林植被 案例9、基于Audioscrobbler数据集的音乐推荐 案例10、基于MovieLens数据集的电影推荐