Databricks，是属于 Spark 的商业化公司，由美国加州大学伯克利 AMP 实验室的 Spark 大数据处理系统多位创始人联合创立。Databricks 致力于提供基于 Spark 的云服务，可用于数据集成，数据管道等任务。
Databricks 公司的云解决方案由三部分组成：Databricks 平台、Spark 和 Databricks 工作区。该产品背后的理念是提供处理数据的单独空间，不受托管环境和 Hadoop 集群管理的影响，整个过程在云中完成。该产品有几个核心概念：由 Notebooks 提供一种与数据交互并构建图形的方法，当用户了解了显示数据的方式时，就可以开始构建主控面板以监视某些类型的数据。最后，用户可以通过该平台的任务启动器来规划 Apache Spark 的运行时间。
2022-06-23 14:04:18
1.28MB
1
spark-assembly-1.6.0-cdh5.8.4-hadoop2.6.0-cdh5.8.4.jar
2022-06-23 13:56:08
102.87MB
1
在ubuntu中搭建大数据环境，包括java, hadoop, hbase, spark, miniconda, jupyter等，环境中的环境变量保存在bigdata.sh中。
2022-06-23 09:10:40
6.07MB
1
第一章
Spark主要有以下(B)个特点
A.3 B.4 C.5 D.6
Spark 的四大组件下面哪个不是 (D )
A.Spark Streaming B. Mlib C Graphx D.Spark R
Spark的架构设计分为几个部分（B）
A.3 B.4 C.5 D.6
Spark 支持的分布式部署方式中哪个是错误的 (D )
A standalone B spark on mesos
C spark on YARN D Spark on local
Stage 的 Task 的数量由什么决定 (A )
A Partition B Job C Stage D TaskScheduler
Task 运行在下来哪里个选项中Executor上的工作单元 (C )
A Driver program B. spark master
C.worker node D Cluster manager
Spark的四大特点有什么（A,B,C,D）
A.迅速 B.通用 C.易用 D.支持多种资源管理器
Spark Core包括什么（B,D）
2022-06-22 18:09:33
95KB
1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。
2、适合人群：大数据运维、大数据相关技术及组件初学者。
3、能学到啥：大数据集群及相关组件搭建的详细步骤，了解大数据各组件的用途，深入认识各大数据组件工作原理及优化方案。
4、阅读建议：使用过以上大数据组件进行简单开发、了解以上大数据组件的相关功能。
5、资源价值：大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档（包括过程踩坑记录+对应解决方案）。
2022-06-22 13:09:32
5.25MB
针对目前缺少大型数据分析框架间的横向比较问题,使用有代表性的大数据工作负载,对Hadoop、Spark和Flink进行性能和可扩展性等因素的比较评价。此外,通过调整工作负载的一些主要参数,例如HDFS块大小、输入数据大小、互连网络或线程配置等,描述了这些框架的行为模式特征。实验结果分析表明,对于非排序的基准测试程序,使用Spark或Flink替代Hadoop,分别带来平均77%和70%执行时间的降低。整体上,Spark的性能结果最好;而Flink通过使用的显式迭代程序,极大提高了迭代算法的性能。
2022-06-22 10:27:49
2.05MB
1
谷歌图谱数据集，适合spark进行图计算
# Directed graph (each unordered pair of nodes is saved once): web-Google.txt
# Webgraph from the Google programming contest, 2002
# Nodes: 875713 Edges: 5105039
# FromNodeId ToNodeId
2022-06-21 16:04:24
20.19MB
1
资源包含文件：课程论文word+项目源码
本文在 Spark 及图计算引擎 GraphX 的基础上，设计并实现一套用于顶点分 析的社交网络分析系统，为使用 Spark 进行大规模社交网络的顶点分析提供具体 接口，包括社交网络的图模型构建、顶点重要度估值、顶点间路径的计算、顶点 分组等接口，并对计算结果进行了一定程度上的可视化展现。主要工作包括两个 方面:第一是构建图和数据可视化的实现;第二是具体的顶点分析接口的实现。
详细介绍参考：https://biyezuopin.blog.csdn.net/article/details/124983932
2022-06-21 09:11:23
9.42MB
DataFrame是一个组织成命名列的数据集。它在概念上等同于关系数据库中的表或R/Python中的数据框架，但其经过了优化。DataFrames可以从各种各样的源构建，例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。
DataFrame API 可以被Scala，Java，Python和R调用。
在Scala和Java中，DataFrame由Rows的数据集表示。
在Scala API中，DataFrame只是一个类型别名Dataset[Row]。而在Java API中，用户需要Dataset用来表示DataFrame。
在本文档中，我们经常将Scala/Java数据
2022-06-19 22:28:20
56KB
1