spark-sql-性能 一组针对Spark SQL的性能测试

1.高可靠性 2.高扩展性 3.高效性 4.高容错性 5.低成本

Kafka Streams in Action教会您在Kafka平台中实现流处理。在这本易于遵循的书中，您将探索收集、转换和聚合数据、使用多个处理器以及处理实时事件的实际示例。您甚至可以使用KSQL深入到流SQL中!到最后，它以测试和操作方面(如监视和调试)结束。

SparkTI (Spark on TiDB)是TiDB基于Apache Spark的独立于原生系统的计算引擎。它将Spark和TiDB深度集成，在原有MySQL Workload之外借助Spark支持了更多样的用户场景和API。这个项目在SparkSQL和Catalyst引擎之外实现了一套扩展的，为TiDB定制的SQL前端（Parser，Planner和优化器）：它了解TiDB如何组织数据，并知晓如何借助TiDB本身的计算能力加速查询，而不仅仅是一个Connector。凭借SparkTI，TiDB将成为Hadoop生态的一部分，铺平了OLTP系统和离线分析集群之间的鸿沟。

Benthos是一种高性能且具有弹性的流处理器，能够以各种代理模式连接各种和并对有效负载执行。 它带有，易于部署和监视，并可以作为静态二进制文件，docker映像或放入您的管道中，从而使它像原生一样自然云化。 Benthos是完全声明性的，在单个配置文件中定义了流管道，可让您指定连接器和处理阶段列表： input : gcp_pubsub : project : foo subscription : bar pipeline : processors : - bloblang : | root.message = this

flink-kafka-hbase 功能：实现kafka消息实时落地hbase，支持csv/json字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能) 支持at least once语义 外部依赖：apollo配置中心，本项目依靠配置驱动，配置存储在apollo配置中心 配置： { "indexColumnMapping": { --indexColumnMapping即CSV格式消息的key和value按照value里的分隔符拼接后再分割后下标及写入hbase列的对应关系 "0": "basic:time", --第0列始终是kafka消息的key，如果不需要可以不指定 "1": "basic:user_id",

Yelper：基于协作过滤的推荐系统 孙传 [gmail.com的chuansun76] [twitter.com/sundeepblue] 博客： ： 或此处： : 此README文件描述了“ Yelper”的几个主要组件，Yelper是主要使用Python使用Spark框架构建的业务推荐系统。 以下是“ Yelper”的一些功能： 按城市划分原始业务数据，可以进行微调和自定义推荐 使用Spark MLlib的基于矩阵分解的推荐 在Scala中使用Spark GraphX进行用户业务图分析 使用Spark Streaming和Apache Kafka进行实时用户请求处理 使用

在我博客中的三个基础章节 第 1 章 Spark 概述 第 2 章 Spark 第 3 章 案例 实操 从Spark入门到Spark的第一个基础案例

这是我根据自己的经验，一步步写的，写的比较完整哦，希望能帮到各位小伙伴

背景 最近要开发智能推荐引擎，后期系统需要搭载在Spark集群上，前期要开发相关脚本，需要一个测试环境，所以向公司申请了一台主机，平台是Linux，操作系统CentOS，背景交代完毕，现在需要在单机Linux主机上部署Spark。 准备： JDK：1.8 Spark：2.4.5 Linux系统平台：本文所用Linux版本为CentOS 7 步骤 第一步：下载并解压JDK 首先去Oracle官网现在JDK压缩包 官网下载地址 我选择的版本是jdk-8u241-linux-x64.tar.gz 下载完成后上传到Linux服务器下，新建一个文件夹software，然后解压压缩包。 解压的Linux命