详细介绍文章地址：
https://blog.csdn.net/c851666395/article/details/127703876
2023-09-27 15:08:08
377.36MB
1
Spark-Core文档是本人经三年总结笔记汇总而来，对于自我学习Spark核心基础知识非常方便，资料中例举完善，内容丰富。具体目录如下：
目录
第一章 Spark简介与计算模型 3
1 What is Spark 3
2 Spark简介 3
3 Spark历史 4
4 BDAS生态系统 4
5 Spark与Hadoop的差异 5
6 Spark的适用场景 6
7 Spark成功案例 6
第二章 Spark开发环境搭建 8
1 Spark运行模式 8
2 Spark环境搭建 8
2.1Scala的安装 8
2.2Spark的单节点配置 9
2.3Spark-Standalone集群配置 9
2.4Spark-on-Yarn模式配置 12
2.5Spark-on-Mesos模式配置 13
2.6Hive-on-Spark配置 13
第三章 Spark计算模型 15
1 RDD编程 15
1.1弹性分布式数据集RDD 15
1.2构建RDD对象 15
2RDD操作 15
2.1将函数传递给Spark 16
2.2了解闭包 16
2.3Pair RDD模型 17
2.4Spark常见转换操作 18
2.5Spark常见行动操作 20
2.6RDD持久化操作 21
2.7注意事项 23
2.7并行度调优 24
2.8分区方式 25
3Examle:PageRank 27
第四章 Spark编程进阶 29
1共享变量 29
1.1累加器 30
1.2广播变量 31
2基于分区进行操作 32
3与外部程序间的管道 33
4数值RDD的操作 34
5 Spark Shuffle机制 34
第五章 Spark调优与调试 39
1开发调优： 40
1.1调优概述 40
1.2原则一：避免创建重复的RDD 40
1.3原则二：尽可能复用同一个RDD 41
1.4原则三：对多次使用的RDD进行持久化 42
1.5原则四：尽量避免使用shuffle类算子 43
1.6原则五：使用map-side预聚合的shuffle操作 44
1.7原则六：使用高性能的算子 45
1.8原则七：广播大变量 46
1.9原则八：使用Kryo优化序列化性能 47
1.10原则九：优化数据结构 48
2资源调优 48
2.1调优概述 48
2.2 Spark作业基本运行原理 49
2.3资源参数调优 50
第六章 Spark架构和工作机制 52
1 Spark架构 52
1.1 Spark架构组件简介 52
1.2 Spark架构图 54
2 Spark工作机制 54
2.1 Spark作业基本概念 54
2.2 Spark程序与作业概念映射 55
2.3 Spark作业运行流程 55
3 Spark工作原理 55
3.1 作业调度简介 55
3.2 Application调度 56
3.3 Job调度 56
3.4 Tasks延时调度 56
第七章 Spark运行原理 57
1 Spark运行基本流程 57
2 Spark在不同集群中的运行架构 58
2.1 Spark on Standalone运行过程 59
2.2 Spark on YARN运行过程 60
2023-09-26 13:01:48
6.54MB
1
软考信息系统项目管理工程师十大知识领域思维导图，包括整体管理，进度管理，成本管理，质量管理，人力资源管理，范围管理，项目沟通管理，项目风险管理，项目干系人管理等。
2023-09-21 09:41:29
420KB
1
机器学习入门的基础知识，包括常见名词的解释（线性回归、容量、过拟合欠拟合、正则化、超参数和验证集、估计、偏差和方差、最大似然估计、KL散度、随机梯度下降）
欢迎关注我的微信公众号“人小路远”哦，在这里我将会记录自己日常学习的点滴收获与大家分享，以后也可能会定期记录一下自己在外读博的所见所闻，希望大家喜欢，感谢支持！
1、数值计算基础
计算机求解问题的步骤：
1、根据实际问题建立数学模型；（应用数学）
2、由数学模型给出数值计算方法；（计算数学）
3、根据计算方法编制算法程序在计算机上算出结果。
数值问题：是输入和输出数据之间的函数关系的一个确定而无歧义的描述。可以理解为：输入和输出均为数据
2023-09-20 07:09:16
325KB
1
主要介绍了Python matplotlib绘图可视化知识点整理(小结),小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2023-09-19 13:28:40
473KB
1
南京航空航天大学双语矩阵论所有考点汇总
+
南京航空航天大学双语矩阵论作业答案
刚好4页可直接打印带入考场作为考试材料，非常详细且清晰
2023-09-19 12:15:47
5.57MB
1
vue利用echarts简单实现具有中心节点的知识图谱，其中边缘节点可拖动，其大小可以根据传入的值而变化
2023-09-17 17:57:07
4KB
1
本文介绍了2021下半年信息系统管理工程师考试中的计算机硬件基础考情分析。通过对历年考试真题的分析，要求考生掌握数在计算中的表示、CPU的组成和相关寄存器的作用、总线的类型、指令的CISC/RISC和流水线、寻址方式的立即、直接、间接、寄存器和寄存器间接寻址、以及校验码的奇偶校验、CRC和海明码等知识点。本文重点介绍了这些知识点，供考生备考使用。
2023-09-13 20:25:04
345KB
1