### 国科大-叶笑春、王展-并行处理-期末复习资料 #### 重要知识点概览 本篇文章将根据题目要求，详细解析给定的并行处理知识点，主要包括负载均衡的方法、Flynn分类法、多核通信方式、系统域点对点通信的基本元素、并行程序的通用模型、并行执行的主要形式、多线程的收益与代价、并行编程模型、局部性的概念、Cache Miss的原因及避免方法、降低通信开销的方法、以及影响应用可扩展性的因素。 ### 负载均衡的方法 **负载均衡**是并行处理中的一个重要概念，目的是确保各处理单元的工作量大致相等，从而最大化整体系统的效率。常见的两种方法是： 1. **任务开始前的负载均衡**：在任务开始之前，根据任务的特点和处理单元的能力预先分配工作量，使得每个处理单元的工作量尽可能均衡。 2. **任务执行过程中的动态负载均衡**：随着任务的执行，动态调整各个处理单元的工作量，以适应实际情况的变化，比如某个处理单元完成得较快，则可以分配更多任务给它。 ### Flynn分类法 **Flynn分类法**是一种用于区分并行处理系统的分类方法，主要依据指令流和数据流的特性来划分，包括以下四种类型： 1. **单指令流单数据流结构（SISD）**：典型的顺序处理计算机，如传统的CPU。 2. **单指令流多数据流结构（SIMD）**：适用于处理大量相似数据的任务，如图形处理器（GPU）中的某些计算单元。 3. **多指令流单数据流结构（MISD）**：较少见，主要用于某些特殊应用场景，如信号处理。 4. **多指令流多数据流结构（MIMD）**：最通用的并行处理架构，每个处理单元可以独立执行不同的指令流。 ### 多核通信方式 在多核处理器环境中，不同核心之间的通信至关重要，主要有以下三种方式： 1. **共享地址空间**：所有核心都可以访问相同的内存空间，通信简单直接，但需要注意同步和一致性问题。 2. **消息传递**：通过发送消息的方式进行通信，适用于分布式系统或多节点集群环境。 3. **数据并行**：针对大规模数据集的处理，将数据分割后分配给不同的核心进行并行处理。 ### 系统域点对点通信的基本元素 系统域内的点对点通信是并行计算中常见的一种通信方式，其基本构成包括： 1. **节点**：可以是集群中的单个计算机或者多处理器系统中的单一处理器。 2. **网络接口**：如高速网络接口卡（NIC），例如万兆以太网卡或InfiniBand HCA（主机通道适配器）。 3. **链路**：包括线缆和接插件，例如光纤连接和相应的光模块。 4. **网络包**：由包头、载荷、包尾三部分组成，是网络传输的基本单位。 ### 从上层应用出发的并行程序通用模型 1. **任务并行**：问题被分解为多个子任务，这些子任务可以在不同的处理单元上并行执行，子任务之间通过显式通信来协调。 2. **数据并行**：对于包含大量数据的问题，数据集被分割并分配给不同的处理单元进行并行处理，每个单元执行相同的操作。 ### 代处理器并行执行的主要形式 1. **超标量**：在同一时钟周期内执行多条指令，利用指令级并行（ILP），由硬件自动发现并行性。 2. **多核**：多个核心协同工作，支持线程级并行性，软件负责调度线程到不同的核心上。 3. **SIMD**：在单个核心内，通过多个ALU同时执行同一条指令的不同实例，实现数据级并行。 ### 多线程的收益与代价 **收益**： - 更好地利用处理器资源。 - 隐藏内存访问延迟。 - 提高并行应用的整体吞吐量。 **代价**： - 需要额外的线程上下文。 - 可能增加单一线程的运行时间。 - 对内存带宽的要求更高。 - Cache空间受限可能导致频繁访问内存。 ### 并行编程模型 1. **共享地址空间**：易于实现但难以确保良好的性能。 2. **消息传递**：结构化良好，有利于实现可扩展的并行程序。 3. **数据并行**：强调数据集的并行处理，限制迭代间的通信量。 ### 局部性的概念 1. **时间局部性**：短期内重复访问相同数据。 2. **空间局部性**：访问附近地址的数据。 3. **Cache利用**：主要利用时间局部性和空间局部性来减少Cache Miss。 ### Cache Miss的原因及避免方法 - **首次访问**：无法避免。 - **缓存容量不足**：增加缓存大小。 - **冲突**：调整缓存关联性或改变数据访问模式。 - **通信引起的Miss**：优化通信设计。 ### 降低通信开销的方法 1. **减少通信次数**。 2. **减少通信延迟**。 3. **减少通信竞争**。 4. **增加通信与计算的重叠**。 ### 影响应用可扩展性的因素 1. **应用本身的串行算法实现**。 2. **关键路径**：优化方法是缩短关键路径上的任务。 3. **处理瓶颈**：使用更高效的通信机制或采用主从计算架构。 ### 结合Roofline模型优化Stencil程序 针对3-D 7点Jacobi Stencil算法，我们可以考虑以下几点优化策略： 1. **减少通信开销**：尽量减少数据交换的需求。 2. **提高计算密集度**：增加每个计算单元的数据处理量。 3. **优化数据布局**：改进数据的存储方式以提高缓存利用率。 4. **利用SIMD指令**：利用向量化指令加速数据处理。 通过以上策略，可以有效提升并行程序的性能和可扩展性。

UCAS-MachineLearning-homework 国科大 电子学院 叶齐祥老师 机器学习 课程作业 基于python实现 作业一：GMM - 手写高斯混合模型算法，用期望最大算法(EM)实现。 作业二：SVM - 手写支持向量机算法，用序列最小最优化算法(SMO)实现。 作业三：CNN - 手写卷积神经网络算法，包括前向传播、反向传播、参数更新。

中国科学院大学研究生学术英语读写教程 Unit1-Unit10 原文及其翻译 word版本

【研究生学术英语读写教程翻译中国科学院大.html

中科院JCR期刊分区（又称分区表、分区数据）是中国科学院文献情报中心世界科学前沿分析中心的科学研究成果。分区表设计的思路始于2000年之初，旨在纠正当时国内科研界对不同学科期刊影响因子数值差异的忽视。

2023年中国科学院文献情报中心期刊分区表工程技术块.xlsx

5.4 湍流运动的雷诺方程 我们在推导流体运动的控制方程（N-S 方程）时，并没有限制流动状态是层流还是湍流， 因此 N-S 方程对层流和湍流都同样适用。但从前面的分析我们知道，与层流在确定的初始 和边界条件下有唯一确定的解不同，湍流是随雷诺数增大而不断分叉，使流动变成含有许多 频率的拟周期运动，且所考虑的周期流动不能由给定的稳定的外部边界条件唯一确定，即湍 流的解的确定依赖于内部的随机条件，而这种内部的随机条件是无法事先预测的。这就说明， 想直接通过 N-S 方程从数学理论上解决湍流问题是不可能的。但如果我们不把研究重点放 在流体微团的运动规律上，即放弃对频率在 1~10 5 赫兹之间急剧变化的每一个流体微团的物 理量，如速度、压强、温度的详细描述，而把重点放在某一段时间或某一块面积湍流对物体 流 体 力 学 （ 国 科 大 教 材 ） 第 五 章

中国科学院大学 高级人工智能课程 符号主义部分 罗平老师部分 所有考点 重点 总结和证明 有完整的思路曲线 对每一个考点都有涵盖和展开证明 如归结原理的完备性

表 1.4 几种物质在空气中的扩散系数 溶质 溶剂 温度（K） DAB（m 2/ s） 水 空气 298 0.26 -4 10 二氧化碳 空气 298 0.16 -4 10 氧 空气 298 0.21 -4 10 丙酮 空气 273 0.11 -4 10 苯 空气 298 0.88 -5 10 萘 空气 300 0.62 -5 10 表 1.5 几种物质在水中的扩散系数 溶质 溶剂 温度（K） DAB（m 2/ s） 食盐 水 288 1.1 -9 10 葡萄糖 水 298 0. 69 -9 10 酒精 水 298 0.12 -8 10 甘油 水 298 0.94 -9 10 传质现象除了分子输运以外，还有对流传质，并且根据流动的性质将对流传质细分为强 迫对流传质和自由对流传质。 c. 热量输运—热传导现象 传热有对流、传导和辐射三种形式，对流是随流体宏观运动产生的热迁移现象，辐射是 热以电磁波形式的传播现象，传导则是流体分子的热运动产生的热能输运现象。 对流仅存在于流体运动过程中，传导和辐射可存在于静止和运动的流体中。 静止流体中的温度分布不均匀时，流体通过分子热运动将热能从较高温度的区域传递到 较低温度的区域的现象叫热传导现象。 11

中国科学院微电子所考研试题，中国科学院微电子所考研试题答案，包含了2005年到2012年的试题和答案