Spark-Core文档是本人经三年总结笔记汇总而来，对于自我学习Spark核心基础知识非常方便，资料中例举完善，内容丰富。具体目录如下：
目录
第一章 Spark简介与计算模型 3
1 What is Spark 3
2 Spark简介 3
3 Spark历史 4
4 BDAS生态系统 4
5 Spark与Hadoop的差异 5
6 Spark的适用场景 6
7 Spark成功案例 6
第二章 Spark开发环境搭建 8
1 Spark运行模式 8
2 Spark环境搭建 8
2.1Scala的安装 8
2.2Spark的单节点配置 9
2.3Spark-Standalone集群配置 9
2.4Spark-on-Yarn模式配置 12
2.5Spark-on-Mesos模式配置 13
2.6Hive-on-Spark配置 13
第三章 Spark计算模型 15
1 RDD编程 15
1.1弹性分布式数据集RDD 15
1.2构建RDD对象 15
2RDD操作 15
2.1将函数传递给Spark 16
2.2了解闭包 16
2.3Pair RDD模型 17
2.4Spark常见转换操作 18
2.5Spark常见行动操作 20
2.6RDD持久化操作 21
2.7注意事项 23
2.7并行度调优 24
2.8分区方式 25
3Examle:PageRank 27
第四章 Spark编程进阶 29
1共享变量 29
1.1累加器 30
1.2广播变量 31
2基于分区进行操作 32
3与外部程序间的管道 33
4数值RDD的操作 34
5 Spark Shuffle机制 34
第五章 Spark调优与调试 39
1开发调优： 40
1.1调优概述 40
1.2原则一：避免创建重复的RDD 40
1.3原则二：尽可能复用同一个RDD 41
1.4原则三：对多次使用的RDD进行持久化 42
1.5原则四：尽量避免使用shuffle类算子 43
1.6原则五：使用map-side预聚合的shuffle操作 44
1.7原则六：使用高性能的算子 45
1.8原则七：广播大变量 46
1.9原则八：使用Kryo优化序列化性能 47
1.10原则九：优化数据结构 48
2资源调优 48
2.1调优概述 48
2.2 Spark作业基本运行原理 49
2.3资源参数调优 50
第六章 Spark架构和工作机制 52
1 Spark架构 52
1.1 Spark架构组件简介 52
1.2 Spark架构图 54
2 Spark工作机制 54
2.1 Spark作业基本概念 54
2.2 Spark程序与作业概念映射 55
2.3 Spark作业运行流程 55
3 Spark工作原理 55
3.1 作业调度简介 55
3.2 Application调度 56
3.3 Job调度 56
3.4 Tasks延时调度 56
第七章 Spark运行原理 57
1 Spark运行基本流程 57
2 Spark在不同集群中的运行架构 58
2.1 Spark on Standalone运行过程 59
2.2 Spark on YARN运行过程 60
2023-09-26 13:01:48
6.54MB
1
机械设计结构设计模架系统设计模具加工等经验资料归档总结资料（40个）：
三板模配件设计要点归纳.pdf
刀具加工深度经验归纳.pdf
分模设计要点归纳.pdf
塑胶模具基本组成及各部位作用归纳.pdf
大水口流道设计要点归纳.pdf
如何修改模具公差要点归纳.pdf
常用模具钢资料及选用归纳.pdf
常用油缸资料归纳.pdf
常见塑胶溢边值归纳.pdf
常见塑胶缩水率归纳.pdf
常见注塑机规格整理.pdf
常见蚀纹深度与拔模斜度关系整理.pdf
常规斜销设计要点归纳.pdf
常规滑块机构设计要点归纳.pdf
常规运水设计要点归纳.pdf
拉料针设计要点归纳.pdf
排位设计要点归纳.pdf
排气设计要点归纳.pdf
机械手定位设计要点归纳.pdf
模具加工设备原理，工艺排序及精度归纳.pdf
模具质量等级归纳.pdf
法兰唧嘴设计要点归纳.pdf
浇口设计要点归纳.pdf
细水口流道及浇口设计要点归纳.pdf
锲紧块设计要点归纳.pdf
镶件设计要点归纳.pdf
顶出设计要点归纳.pdf
吊模螺丝设计经验归纳.pdf
回针弹簧设计要点归纳.pdf
垃圾钉设计要点归纳.pdf
2022-12-02 14:16:07
102.9MB