### 西电分布式计算课程（PPT总结版）笔记知识点详解 #### 一、通信技术 **1.1 分布式计算基础** - **通信技术的重要性：** 在分布式计算领域，节点之间的高效通信是实现高性能计算的核心。文档重点介绍了几种通信技术： - **底层通信技术：** 包括TCP/UDP这样的点对点通信技术。 - **并发服务技术：** 如多线程和线程池等。 - **上层通信技术：** 比如基于消息中间件的通信技术。 **1.2 TCP/IP 与 OSI 模型** - **TCP/IP 协议栈的发展背景：** TCP/IP 先于OSI模型出现，其结构更为实用且简化了网络编程。 - **四层模型：** - **应用层：** 提供应用程序所需的高级服务。 - **传输层：** 主要负责端到端的数据传输，典型协议有TCP和UDP。 - **网络层：** 处理IP地址并进行路由选择。 - **接口层：** 负责物理通信，如以太网或Wi-Fi。 - **简化网络编程：** 每一层都提供特定功能，便于开发人员按需选择合适的层次进行编程。 **1.3 套接字（Socket）编程** - **套接字介绍：** 套接字是传输层和网络层提供给应用层的标准化编程接口。 - **类型：** - **流式套接字：** 基于TCP协议，提供可靠的、面向连接的服务。 - **数据报套接字：** 基于UDP协议，提供不可靠的、无连接的服务。 - **原始套接字：** 直接访问底层协议，灵活性高但使用复杂。 - **标识：** 通常使用五元组来唯一标识一个套接字：本地IP地址、本地端口号、远程IP地址、远程端口号和协议类型。 **1.4 通信模式** - **基于消息中间件的通信技术：** 如ActiveMQ、RabbitMQ等，提供分布式消息队列服务，支持异步通信。 - **Web Service 技术：** 通过HTTP协议实现不同节点之间的互操作，定义了一系列标准。 - **事件驱动模型+单线程：** 结合事件驱动模型和单线程提高系统吞吐量。 - **其他并发服务技术：** Proactor模型和协程模型，增强系统的解耦合度。 #### 二、并发服务技术 **2.1 基于多线程的并发服务** - **特点：** - **动态创建与销毁：** 灵活性高但带来额外开销。 - **资源消耗：** 频繁创建和销毁线程导致CPU时间和内存的消耗。 - **管理复杂性：** 手动管理线程生命周期增加编程难度。 - **线程安全问题：** 多线程环境下易发生数据竞争和一致性问题。 **2.2 基于线程池的并发服务** - **特点：** - **提高效率：** 通过重用线程减少开销。 - **资源管理：** 线程池有效管理线程资源，降低资源消耗。 - **可控性：** 通过配置参数调整性能和资源使用。 - **简化编程：** 减少编程复杂度，使代码更简洁易维护。 - **同步与异常处理：** 提供同步机制和支持优雅的异常处理。 **2.3 事件驱动模型配合单线程** - **事件驱动模型：** 结合线程池提高系统吞吐量。 - **特点：** - **单线程处理：** 通过事件循环处理多个请求，减少线程切换开销。 - **异步处理：** 支持非阻塞IO操作，提高并发能力。 #### 三、远程过程调用与远程方法调用 **3.1 RPC 与 RMI** - **远程过程调用（RPC）：** - **概念：** 允许远程调用过程或服务，如同本地调用。 - **语言无关性：** 客户端和服务端可使用不同编程语言。 - **协议与架构：** 没有固定实现，如gRPC使用HTTP/2和ProtoBuf。 - **灵活性：** 适用于多种网络环境，但实现复杂。 - **远程方法调用（RMI）：** - **概念：** Java RMI是JDK提供的一套RMI中间件。 - **面向对象特性：** 扩展面向对象编程模型至分布式环境。 - **协议与架构：** 实现跨进程、跨语言、跨网络的过程调用。 - **灵活性：** 支持多种网络协议和数据序列化格式。 #### 四、分布式存储与计算框架 文档还提及了分布式存储和计算框架，包括： - **MapReduce：** Google提出的分布式数据处理模型，用于大规模数据集的并行处理。 - **Spark：** Apache Spark是一种用于大规模数据处理的开源集群计算框架，提供了比MapReduce更快的数据处理速度。 #### 总结 本文档全面介绍了分布式计算领域的关键技术点，包括通信技术、并发服务技术、远程过程调用与远程方法调用等内容。通过学习这些知识点，读者可以深入理解分布式计算的基本原理和技术实现，并为进一步研究和实践打下坚实的基础。

为了提高遥感数据的处理速度,解决遥感信息提取中的数据密集与计算密集问题,将并行计算的思想引入到遥感图像的处理与信息提取中,构建基于 Landsat ETM + 影像的分布式遥感图像水体提取模型｡以渭干河流域为研究区,利用单波段阈值法､多波段谱间关系法､水体指数法等方法进行水体信息自动提取的实验｡实验结果表明,该模型具有较高的识别精度,能够快速识别水体,并具有稳定的可扩展性和伸缩性｡

社交影响力是驱动信息传播的关键因素，基于在线社交网络数据，可以对社交影响力进行建模和分析。针对一种经典的个体影响力计算方法，介绍了该算法的2种并行化实现，并在真实大规模在线社交网络数据集上进行了性能测试。结果表明，借助现有的大数据处理框架，显著提高了个体影响力计算方法在海量数据集中的计算效率，同时也给该类算法的研究和优化提供了实证依据。

并行/分布式计算的应用 科学计算 天气预报 核物理计算 生物计算 地震预测 机械设计 航空航天 大规模数据处理 搜索引擎索引 网络日志分析 …… 2012/9/18 Cloud Computing, GUCAS 157

Ray目前相当热的分布式，高性能计算平台工具。通过其早期的1.x版本的白皮书可以很好的理解Ray一开始的架构设计，便于深入理解Ray这个框架。 目前Ray版本最新版本为2.2。 Ray 1.x Architecture (old) Ray Team, September 2020 Ray v2.0 has been released! Please view the updated whitepaper here. This document is public; please use "Viewing" mode to avoid accidental comments. The goal of this document is to motivate and overview the design of the Ray distributed system (version 1.0+). It is meant as a handbook for: Ray users with low-level system quest

本报告包含课设目的，开发环境，任务描述，需求分析，设计思路，实现过程，调试过程及运行结果。乘用车辆和商用车辆的销售数量和比例分析、分析山西省2013年每个月的汽车销售数量比例、分析买车的男女比例和男女对车的品牌的选择、HDFS统计每种车型的购买数量、统计不同类型的汽车用途、统计各种车型各个年龄段的不同性别的购买情况、统计各种小麦育种者信息。

spark-介绍(1).docx

Title : Designing Distributed Systems Using Approximate Synchrony in Data Center Networks.pdf Distributed systems are traditionally designed independently from the underlying network, making worst-case assumptions (e.g., complete asynchrony) about its behavior. However, many of today’s distributed applications are deployed in data centers, where the network is more reliable, predictable, and extensible. In these environments, it is possible to co-design distributed systems with their network

分布式计算实验课程的任务是实践分布式计算课程的理论、技术和方法。课程的教学目标是使学生将分布式计算技术和方法运用于实践，尝试分布式软件设计与实现，尝试分布式系统构建。

本文来自于csdn，介绍了一种新的分布式计算框架Ray，文中详细说明了它的设计思路和现状等，希望对大家的学习能有帮助。如果关注这个领域的同学可能知道，Ray其实在去年就已经在开源社区正式发布了，只不过后来就一直没有什么太大动静，前段时间也是因为机缘巧合，我又回头学习了解了一下，顺便总结如下：Ray是RISELab实验室（前身也就是开发Spark/Mesos等的AMPLab实验室）针对机器学习领域开发的一种新的分布式计算框架。按照官方的定义：“Ray isaflexible,high-performancedistribute