Spark-Core文档是本人经三年总结笔记汇总而来，对于自我学习Spark核心基础知识非常方便，资料中例举完善，内容丰富。具体目录如下：
目录
第一章 Spark简介与计算模型 3
1 What is Spark 3
2 Spark简介 3
3 Spark历史 4
4 BDAS生态系统 4
5 Spark与Hadoop的差异 5
6 Spark的适用场景 6
7 Spark成功案例 6
第二章 Spark开发环境搭建 8
1 Spark运行模式 8
2 Spark环境搭建 8
2.1Scala的安装 8
2.2Spark的单节点配置 9
2.3Spark-Standalone集群配置 9
2.4Spark-on-Yarn模式配置 12
2.5Spark-on-Mesos模式配置 13
2.6Hive-on-Spark配置 13
第三章 Spark计算模型 15
1 RDD编程 15
1.1弹性分布式数据集RDD 15
1.2构建RDD对象 15
2RDD操作 15
2.1将函数传递给Spark 16
2.2了解闭包 16
2.3Pair RDD模型 17
2.4Spark常见转换操作 18
2.5Spark常见行动操作 20
2.6RDD持久化操作 21
2.7注意事项 23
2.7并行度调优 24
2.8分区方式 25
3Examle:PageRank 27
第四章 Spark编程进阶 29
1共享变量 29
1.1累加器 30
1.2广播变量 31
2基于分区进行操作 32
3与外部程序间的管道 33
4数值RDD的操作 34
5 Spark Shuffle机制 34
第五章 Spark调优与调试 39
1开发调优： 40
1.1调优概述 40
1.2原则一：避免创建重复的RDD 40
1.3原则二：尽可能复用同一个RDD 41
1.4原则三：对多次使用的RDD进行持久化 42
1.5原则四：尽量避免使用shuffle类算子 43
1.6原则五：使用map-side预聚合的shuffle操作 44
1.7原则六：使用高性能的算子 45
1.8原则七：广播大变量 46
1.9原则八：使用Kryo优化序列化性能 47
1.10原则九：优化数据结构 48
2资源调优 48
2.1调优概述 48
2.2 Spark作业基本运行原理 49
2.3资源参数调优 50
第六章 Spark架构和工作机制 52
1 Spark架构 52
1.1 Spark架构组件简介 52
1.2 Spark架构图 54
2 Spark工作机制 54
2.1 Spark作业基本概念 54
2.2 Spark程序与作业概念映射 55
2.3 Spark作业运行流程 55
3 Spark工作原理 55
3.1 作业调度简介 55
3.2 Application调度 56
3.3 Job调度 56
3.4 Tasks延时调度 56
第七章 Spark运行原理 57
1 Spark运行基本流程 57
2 Spark在不同集群中的运行架构 58
2.1 Spark on Standalone运行过程 59
2.2 Spark on YARN运行过程 60
2023-09-26 13:01:48
6.54MB
1
https://blog.csdn.net/haojie_duan/article/details/112739522 有很多人私聊我发送上面这篇博文的打印版，自己在考研时使用，现在把它上传到此处，欢迎大家享用
2023-09-26 11:11:54
211.01MB
1
芯片序列分析
Snakemake管道
我开发了一个基于Snakemake的ChIP-seq管道： 。 和ATACseq管道：
ChIP-seq的资源
： ：来自ENCODE的元数据的汇编。 一个bioc包，用于访问ENCODE的元数据并下载原始文件。
论文：
。 序列为.sra格式，需要使用sratools转储到fastq中。
。 序列以fastq格式提供。
用于核小体定位和TF ChIP-seq的工具和论文的集合
评论文章：解密ENCODE
EpiFactors是一个表观遗传因子，相应的基因和产物的数据库。
生物明星手册。 我的ChIP-seq章节将于2017年4月发布！
ReMap 2018对法规区域的综合ChIP-seq分析。 ReMap地图集包含来自公共数据集的485个转录因子（TF），转录共激活因子（TCA）和染色质重塑因子（CRF）的8000万个峰。 可以浏览或
2023-09-26 10:46:00
3.78MB
1
推荐系统
推荐系统笔记，包括论文，代码实现，相关推荐比赛等
2023-09-23 11:10:10
51.26MB
1
本文是荣涛在2020年9月至10月期间读《深入浅出DPDK》一书的读书笔记。传统上，网卡驱动程序运行在Linux内核态，以中断方式来唤醒系统处理。然而，随着CPU运行速度的提高，这种方式变得不够高效。因此，IBM中国研究院的祝超博士启动了将DPDK移植到Power体系架构的工作。DPDK使用BSD license，绝大多数软件代码都运行在用户态，少量代码运行在内核态，涉及UIO、VFIO以及XenDom0、KNI等内核模块。
2023-09-22 16:50:35
6.57MB
1
华为CIO分享的数字化转型亲身经验，讲述了数字化与信息化的区别，企业为什么需要数字化转型，数字化转型的内在逻辑与数字化、数智化、数治化的闭环，转型路上的三个核心挑战、方向与方法论，以及华为自身的实践总结，非常值得借鉴学习。
附件为整理笔记，是为精髓提炼。
2023-09-20 09:13:45
429KB
车辆行人重识别
数据集介绍：VeRi-776数据集和VehicleID数据集。
代码：
1、https://github.com/knwng/awesome-vehicle-re-identification
collection of dataset&paper&code on Vehicle Re-Identification
2、https://github.com/Jakel21/vehicle-ReID-baseline
resnet50+cross entropy loss+triplet loss
3、https://github.com/Zhongdao/VehicleReI
2023-09-18 10:31:22
158KB
1