Spark+GraphX大规模图计算和图挖掘的第一部分，，本文详细的介绍了如果用spark技术来处理graph的技术.

Spark Atlas连接器 用于跟踪Spark SQL / DataFrame转换并将元数据更改推送到Apache Atlas的连接器。 此连接器支持跟踪： SQL DDL，例如“创建/删除/更改数据库”，“创建/删除/更改表”。 SQL DML，例如“ CREATE TABLE tbl AS SELECT”，“ INSERT INTO ...”，“ LOAD DATA [LOCAL] INPATH”，“ INSERT OVERWRITE [LOCAL] DIRECTORY”等。 具有输入和输出的DataFrame转换 机器学习管道。 该连接器将与Hive，HDFS等其他系统关联，以跟踪Atlas中数据的生命周期。 如何建造 要使用此连接器，您将需要最新版本的Spark（Spark 2.3+），因为大多数功能仅在Spark 2.3.0+中存在。 要构建此项目，请执行： mv

spark-sql-性能 一组针对Spark SQL的性能测试

1.高可靠性 2.高扩展性 3.高效性 4.高容错性 5.低成本

SparkTI (Spark on TiDB)是TiDB基于Apache Spark的独立于原生系统的计算引擎。它将Spark和TiDB深度集成，在原有MySQL Workload之外借助Spark支持了更多样的用户场景和API。这个项目在SparkSQL和Catalyst引擎之外实现了一套扩展的，为TiDB定制的SQL前端（Parser，Planner和优化器）：它了解TiDB如何组织数据，并知晓如何借助TiDB本身的计算能力加速查询，而不仅仅是一个Connector。凭借SparkTI，TiDB将成为Hadoop生态的一部分，铺平了OLTP系统和离线分析集群之间的鸿沟。

flink13.2 操作clickhouse 所需要的jar 包 以及自定义flink 连接clickhouse 的驱动包 主要是 flink-connector-clickhouse-22.07.11.jar

Yelper：基于协作过滤的推荐系统 孙传 [gmail.com的chuansun76] [twitter.com/sundeepblue] 博客： ： 或此处： : 此README文件描述了“ Yelper”的几个主要组件，Yelper是主要使用Python使用Spark框架构建的业务推荐系统。 以下是“ Yelper”的一些功能： 按城市划分原始业务数据，可以进行微调和自定义推荐 使用Spark MLlib的基于矩阵分解的推荐 在Scala中使用Spark GraphX进行用户业务图分析 使用Spark Streaming和Apache Kafka进行实时用户请求处理 使用

在我博客中的三个基础章节 第 1 章 Spark 概述 第 2 章 Spark 第 3 章 案例 实操 从Spark入门到Spark的第一个基础案例

这是我根据自己的经验，一步步写的，写的比较完整哦，希望能帮到各位小伙伴

背景 最近要开发智能推荐引擎，后期系统需要搭载在Spark集群上，前期要开发相关脚本，需要一个测试环境，所以向公司申请了一台主机，平台是Linux，操作系统CentOS，背景交代完毕，现在需要在单机Linux主机上部署Spark。 准备： JDK：1.8 Spark：2.4.5 Linux系统平台：本文所用Linux版本为CentOS 7 步骤 第一步：下载并解压JDK 首先去Oracle官网现在JDK压缩包 官网下载地址 我选择的版本是jdk-8u241-linux-x64.tar.gz 下载完成后上传到Linux服务器下，新建一个文件夹software，然后解压压缩包。 解压的Linux命