HC2024_Tesla.DOJO_TTPoE.pdf

在当前的AI领域中，数据传输协议的效率直接关系到人工智能超算的性能。埃里克·奎内尔博士在其演讲中提出了一种名为TTPoE（Tesla Transport Protocol over Ethernet）的新传输协议，这是为了配合Dojo AI超算而设计的以太网传输层协议。TTPoE是一种完全在硬件中执行的点对点以太网传输层协议，其目标是在AI互连中解决TCP/IP的延迟问题，并简化软硬件结构。 TTPoE的提出源于TCP/IP协议在扩展性AI互连场景中速度不足的问题。由于TCP/IP协议受限于CPU的软件核心，它无法在大规模AI计算中提供所需的低延迟和高带宽。此外，无损网络虽然能提供确定性的数据传输，却存在结构复杂且易出错的问题。比如，优先级流量控制（PFC）会影响整个网络的性能。 为了找到理想的网络架构，理想中的网络应当具备以下特性：最低的延迟、最高的带宽以及简单的软件支持。对于特斯拉的AI而言，理想的协议应当是仅限于第二层，支持集体通信和数据摄取，并且在单一应用场景中保持低拥塞。为此，特斯拉研发了TTPoE。 TTPoE作为一种定制的传输协议，具备几个关键特点： 1. 垂直整合——将Dojo RDMA（远程直接内存访问）扩展到光学网络。 2. “损失性”以太网网络——通过允许数据包丢失来优化规模扩展、成本以及拥塞管理。 3. 利用第三方硬件——兼容以太网II帧，使之“开箱即用”。 为了配合TTPoE，Dojo团队重新设计了OSI模型的标准协议栈，形成了一套适用于Dojo超算的协议栈。在这个新的协议栈中，传统的TCP/IP协议被更优化的协议所取代。比如在应用层，传统的HTTP、Telnet、FTP协议被Pytorch和Dojotorch所替代；在网络层，传统的IPv4/IPv6协议变为了可选项。这种架构的设计大幅简化了网络协议的复杂度，减少了对CPU的依赖，从而显著提升了传输效率。 在TTPoE中，还展示了一系列的TTP交易示例。其中清洁的TTP传输展示了在无数据丢失或顺序错误情况下的数据交换。而NACK TTP传输则展示了在数据丢失或顺序错误时的错误恢复机制。 此外，演讲中还提到了传输层状态机的设计，其中TCP状态机和TTP状态机被提出，这显示了TTPoE协议为了适应以太网的特殊需求而定制设计的复杂性。 综合上述内容，我们可以看到TTPoE协议在Dojo AI超算中的应用能够显著提高数据传输的效率和准确性，降低网络拥塞的可能性，并且为大规模AI训练提供了强大的网络支撑。这种新的传输协议的开发和应用，标志着在AI超算领域的网络技术上迈出了重要的一步。