由于Spark基于内存计算的特性,集群的任何资源都可以成为Spark程序的瓶颈:CPU,网络带宽,或者内存。通常,如果内存容得下数据,瓶颈会是网络带宽。不过有时你同样需要做些优化,例如将RDD以序列化到磁盘,来降低内存占用。 本教程通过源码引导读者深入理解Spark的集群部署的内部机制、Spark内部调度的机制、Executor的内部机制、Shuffle的内部机制,进而讲述Tungsten的内部机制,让学员知其然知其所以然。教程的后部分,是任何Spark应用者都很好关注的Spark性能调优的内容。
1
【精品】上海涂点科技-政务云计算和大数据平台解决方案
2021-06-30 17:03:19 25.84MB 云计算 大数据 解决方案
适合学习计算机的大数据或是云计算方向的同学下载和学习,或是相关技术爱好者。侵权删
2021-06-27 13:07:35 64.48MB 云计算 大数据 虚拟化
1
以实战为索引,手把手进行教学,逐步深入的讲解docker应用,包括部署 docker 容器虚拟化平台、配置 docker 镜像加速地址、镜像制作和发布方法,端口映射、命名和重命名、创建实例指定主机名、资源配额控制(cpu、内存、IO)、数据映射、docker静态IP 配置及基于docker容器搭建私有云存储网盘和搭建docker镜像私有仓库及使用。
1
【为什么学习数据结构与算法】    程序=数据结构+算法。数据结构和算法是程序的基础,没有系统地学习过数据结构和算法的程序员只能称作是coder,知道我们写的代码使用了什么数据结构,它的特征是什么。知道解决某些问题是用的何种算法才会从coder晋升为工程师。另外,大厂面试数据结构和算法也是我们绕不过去的一个门槛。这部分恰好又不是突击能够解决的知识储备,所以很有必要系统地学习一下数据结构和算法了 【推荐您学习这门课程的原因】1、图解数据结构与算法:拒绝抽象枯燥的学习,本课程采用动画演示的形式,让您在动画中掌握算法的底层原理。下面是课程中几个动画的演示效果: 2、实战2020大厂算法面试题:解析大厂算法面试题,分析其中算法原理,并动手实操,让大家通关面试最后一道题。 3、全面、系统化的课程设计:系统化讲解数据结构与算法,让你快速梳理整个算法知识体系,掌握算法的核心思想。 【主讲讲师】 孙玖祥: 8年互联网开发经验,3年教学经验; 擅长JAVA技术栈、高并发高可用伸缩式微服务架构; 曾多次参与大型银行和互联网公司核心系统的架构设计和开发; 丰富的教学和就业经验,所带毕业学员逾千
1
Jenkins是一款开源?CI&CD?软件,用于自动化各种任务,包括构建、测试和部署软件。?提供超过1000个插件来满足任何项目的需要。 该课程主要讲解了以下内容: ?1. Jenkins 的安装及配置 ?2. Jenkins 与多种集成工具的集成 ?3. 使用传统web 页面的持续集成部署 ?4. 使用脚本式管道的持续集成部署
1
minikube之带你玩转k8s集群
2021-06-22 11:04:52 394.29MB 云计算/大数据 Docker/K8S minikube 集群
1
智慧水利是运用物联网、云计算、大数据等新一代信息通信技术,促进水利规划、工程建设、运行管理和社会服务的智慧化,提升水资源的利用效率和水旱灾害的防御能力,改善水环境和水生态,保障国家水安全和经济社会的可持续发展。
2021-06-22 09:01:52 7.08MB 智慧水务 智慧水利 云计算 大数据
进入 21 世纪后,随着云计算、大数据、人工智能、物联网 等新一代信息技术的发展和新思想的涌现,采用新技术、新材料、 新工艺的智能传感技术对传统信息获取方法的颠覆,进一步全面 思考泵站与新一代信息技术(特别是传感技术)深度融合的机制 和途径,对智能泵站的技术体系和过程应用进行深入研究和实践, 持续提升泵站运行管理的集约化和智能化水平已成当务之急。
2021-06-22 09:01:46 2.02MB 智慧水文 智慧水务 云计算 大数据
本课程附全套RHCA学习环境,免费提供给学员进行操作练习。 学员们将获得相关技能和知识,通过实验室操作练习,学员将能够深入学习创建、配置、管理 OpenShift 集群并对其进行故障排除、 红帽 OpenShift 管理一(DO280)教您如何安装并管理红帽? OpenShift? 容器平台。本课程将向您演示如何安装、配置和管理 OpenShift 集群,并部署示例应用以进一步了解开发人员会如何使用此平台。 OpenShift 是一个容器化应用平台,可帮助企业利用 Kubernetes 来管理容器部署并扩展应用。OpenShift 提供预定义的应用环境,基于 Kubernetes 构建,支持各类 DevOps 模式,如缩短上市时间、基础架构即代码、持续整合(CI)和持续交付(CD)。 本课程可以帮助学员为红帽OpenShift(DO280)考试做准备,本课程还适合不以考证为目的,而想用技术提升自己的同学。
1