Infiniband Specification Vol 1-Release-1.4相关资料 （免积分） 内容包含 IB Specification Vol 1-Release-1.4-2020-04-07.pdf IB Specification Vol 2-Release-1.4-2020-04-07.pdf

### InfiniBand体系结构详解 #### 一、概述 InfiniBand作为一种高性能的输入/输出（I/O）技术，被设计用于解决传统I/O技术在计算机网络和计算技术快速发展过程中遇到的瓶颈问题。随着计算机CPU性能和互联网带宽需求的快速增长，传统I/O技术的增长速度已经无法跟上这一步伐，从而导致数据服务中的新瓶颈出现。 InfiniBand技术由Future I/O Developers Forum和NGI/I/O Forum两大I/O技术工业标准开发机构合并而成，并有望成为下一代I/O标准——3GI/O的一部分。本文将详细介绍InfiniBand的技术背景、体系结构、物理拓扑、协议分层结构以及与传统I/O技术如PCI的对比。 #### 二、InfiniBand结构 InfiniBand体系结构主要包括以下几个组成部分： 1. **信道适配器（Channel Adapter, CA）**：分为主机信道适配器（Host Channel Adapter, HCA）和目标信道适配器（Target Channel Adapter, TCA）。HCA用于主机处理器连接InfiniBand架构，而TCA则用于I/O适配器连接InfiniBand架构。HCA和TCA之间的主要区别在于它们到达传输层的客户接口不同：HCA支持专门定义的IBA Verbs层，而TCA使用的是上层协议相关接口。 2. **交换机**：负责在不同的节点之间进行数据包的转发。 3. **路由器**：用于扩展InfiniBand网络的覆盖范围，实现不同子网之间的通信。 4. **中继器**：增强信号强度，确保长距离传输的质量。 5. **链接**：每个单独的链接通道由4根信号线组成，构成一个双向数据通道，双向理论带宽为5Gb/s。 InfiniBand网络（Fabric）由多个交换机和路由器构成，这些组件通过链路相互连接。信道适配器是数据包在InfiniBand架构中传输的起点和终点。 #### 三、InfiniBand的协议分层结构 InfiniBand采用了五层协议模型，分别是物理层、数据链路层、网络层、传输层和上层软件应用层。这些层次的主要功能如下： 1. **物理层**：负责处理比特流的传输，包括信号的编码和解码。 2. **数据链路层**：提供链路上的数据帧的可靠传输，包括差错检测和纠正。 3. **网络层**：负责路由选择和寻址，确保数据包能够正确地从源地址传送到目的地址。 4. **传输层**：提供端到端的数据传输服务，包括流量控制和拥塞控制。 5. **上层软件应用层**：支持各种应用程序和服务，例如存储、消息传递和网络文件系统。 #### 四、Subnet Manager 除了上述五层协议之外，InfiniBand架构中还定义了一个特殊的组件——Subnet Manager。Subnet Manager的功能包括但不限于配置网络单元、错误报告、链接错误排除和机箱管理等。它是InfiniBand网络管理和维护的关键组成部分。 #### 五、InfiniBand与传统I/O技术的比较 InfiniBand相较于传统I/O技术（如PCI）具有以下优势： 1. **更高的带宽**：InfiniBand提供了比PCI更高的数据传输速率。 2. **更低的延迟**：InfiniBand采用了专门优化的设计，能够在服务器和存储设备之间实现极低的延迟。 3. **更灵活的架构**：InfiniBand支持多种网络拓扑结构，可以适应不同的应用场景需求。 4. **更强的可扩展性**：InfiniBand架构通过路由器和交换机可以轻松扩展网络规模。 InfiniBand作为一种高性能的I/O技术，在提高数据传输效率、减少延迟和提高网络可扩展性方面展现出了显著的优势。随着计算机技术和网络技术的不断发展，InfiniBand有望成为未来I/O技术的重要标准之一。

### 中科曙光培训资料-Mellanox InfiniBand 交换机关键知识点解析 #### 一、Mellanox InfiniBand 技术发展历程与特点 ##### 发展历程 Mellanox Technologies 在 InfiniBand 技术的发展历程中扮演了重要角色。自 2008 年起，Mellanox 就不断推出创新产品和技术，引领着 InfiniBand 技术的发展趋势。从 2008 年的 QDR (Quad Data Rate) 技术到 2010 年的 FDR (Fabric Data Rate)，再到 2014-2015 年的 EDR (Enhanced Data Rate)，Mellanox 始终保持着技术领先优势。 - **2008年：**QDR InfiniBand 开始应用，实现了长距离解决方案。 - **2009年：**Mellanox 推出了 Connect-IB 技术，支持 100Gb/s HCA (Host Channel Adapter) 动态连接传输。 - **2010年：**FDR InfiniBand 实现端到端连接，并且开始进行 InfiniBand 与 Ethernet 的桥接工作。 - **2014-2015年：**EDR InfiniBand 预期推出，Mellanox 成功研发出世界上首款 EDR 100Gb/s 交换机。 ##### 技术特点 Mellanox 的 InfiniBand 技术具有以下显著特点： - **高带宽**：支持高达 100Gb/s 的数据传输速率。 - **低延迟**：提供极低的延迟时间，如 90ns 的交换延迟。 - **服务质量（QoS）**：确保数据传输的质量和优先级管理。 - **简化管理**：通过集中式管理减少运维复杂度。 - **CPU 卸载**：通过硬件卸载减轻 CPU 负担，提高计算效率。 - **可扩展性与灵活性**：支持不同规模的网络架构。 #### 二、Mellanox InfiniBand 交换机产品组合 Mellanox 提供了丰富的 InfiniBand 交换机产品组合，满足不同场景下的需求： - **模块化交换机**：包括 648 端口、324 端口、216 端口和 108 端口等不同规格，适用于大规模数据中心。 - **边缘交换机**：36 端口外部管理型和内部管理型，以及 18 端口管理型，适合边缘计算或小型网络环境。 - **管理型交换机**：18 端口外部管理型、12 端口管理型和 8-12 端口外部管理型，提供灵活的管理选项。 - **长距离交换机**：支持长距离连接的需求，满足数据中心间的数据传输。 #### 三、InfiniBand 解决方案在高性能计算中的应用 Mellanox 的 InfiniBand 技术被广泛应用于高性能计算（HPC）领域。例如，“Summit” 和 “Sierra” 系统采用了 Mellanox 的 InfiniBand 解决方案，成为当时世界上最强大的超级计算机之一。这些系统不仅证明了 InfiniBand 技术的高度可扩展性，也为向 Exascale 计算迈进铺平了道路。 - **Lenovo HPC 创新中心**：“LENOX” EDR InfiniBand 系统部署于该中心，支持高性能计算任务。 - **上海超算中心**：Magic Cube II 超级计算机采用 Mellanox 的 InfiniBand 技术，提升了整体性能。 #### 四、InfiniBand 技术对数据中心的影响 Mellanox 的 InfiniBand 技术不仅限于高性能计算领域，在数据中心中也有广泛应用。其全面的产品组合覆盖了从 10Gb/s 到 100Gb/s 的速度范围，能够满足不同应用场景的需求，如 X86、ARM 和 Power 架构的计算与存储平台。 - **数据中心内部**：InfiniBand 提供高速、低延迟的内部网络连接。 - **城域网和广域网**：InfiniBand 技术可以跨越城域网和广域网，实现数据中心间的高效数据传输。 Mellanox 的 InfiniBand 交换机及其相关技术为数据中心提供了高性能、低延迟和高度可扩展性的网络解决方案，是当前和未来数据中心不可或缺的关键技术之一。

一份关于IB的非常详细的资料，可以获得对IB比较全面的认识。内容包括但不限于IB介绍，关键特性（高带宽、高扩展、Qos、Offload、低延迟、简化配置），IB架构（协议栈，物理层/链路层/网络层/传输层介绍，包结构等），IB网络管理等。

a very good to introduce infiniband, from whole architecture.

需要理解IB，RoCE或者RDMA协议的朋友，都可以从中学到想要的知识 包括IB架构解析，IB架构传输理论等

Infinity-用于InfiniBand的轻量级C ++ RDMA库 Infinity是ibVerbs的简单，强大，面向对象的抽象。 该库使用户可以构建使用远程直接内存访问（RDMA）的复杂应用程序，而不会牺牲性能。 它大大降低了RDMA编程入门的障碍。 Infinity为双面（发送/接收）以及双面（读/写/原子）操作提供支持。 该库是用C ++编写的，并已通过@utaal移植到Rust（ ）。 安装 在构建Infinity之前，必须先安装“ ibVerbs”。 输出位于``release / libinfinity.a''中。 $ make library # Build the library $ make examples # Build the examples 使用无限 使用Infinity很简单，只需要几行C ++代码。 // Create new context i

infiniband的部分资料，涉及到RDMA，verbs，一些整体技术介绍等

Mellanox Infiniband网卡ConnectX技术白皮书.pdf

Infiniband高速互连网络徐迪威.pdf