百万卡AI集群，离不开英伟达网络

35 0 0

近两年，打造新的超算集群成为了科技巨头的头等大事。

谁有更大的超算集群，谁就能在算力上占得先机，谁就能先人一步训练出更优秀的大模型，看似风平浪静的海面之下，正在酝酿一场异常激烈的军备竞赛。

其中影响力最大的，莫过于埃隆·马斯克（Elon Musk）的AI初创公司xAI在美国田纳西州孟菲斯建造的超算集群，该集群由10万块英伟达Hopper GPU组成，可能会一举成为目前地表最强AI超算集群。

我们可以做一个简单的对比，OpenAI的 GPT-4用了2.5万块英伟达Ampere GPU；全球超算TOP1的Frontier用了 3.78万块GPU，微软的云系统集群Eagle也只用了1.44万块英伟达Hopper GPU，单纯从AI算力来看，xAI的孟菲斯超算集群是毫无争议的第一。

然而，超算集群不是GPU的简单堆砌。对于研究人员来说，调用几千块GPU就需要耗费不少心力，想要让10万块GPU做到如臂使指，难度可以说是指数级增长。

其中最大的挑战，就是如何让这么一个超大规模集群实现高效稳定的网络连接。过往的数据中心通常会使用传统以太网来进行连接，尽管这一方案在过去几十年时间中不断发展和升级，但对于今日蓬勃发展的AI数据中心来说，传统以太网暴露的短板，已成为了不能忽视的阻碍。

01 网络即是算力

讲到数据中心，让人不禁想到了约翰·盖奇在1984 年为Sun Microsystems公司提出的口号——“网络就是计算机”。

这句话的本意是，如果用户拥有合适的软件，就可以使用网络中的其他计算机，以获得额外的CPU算力，从而可以解决单台计算机无法解决的困难问题，也就是今天所提到的云计算的概念。

如今的AI数据中心同样印证了80年代的这句话，在AI数据中心里，服务器上跑着的AI应用程序本身并不能单独工作，需要与后端GPU和人工智能加速器组成的计算节点以及CPU和存储等前端节点之间通信实现协同工作。

在这种情况下，当涉及到ChatGPT这样的大型复杂模型时，为了解决单个服务器节点算力不足的问题，加速模型训练和对大量数据集的处理，就需要转向分布式并行计算，将工作负载分配到多个通过高速、低延时网络连接的服务器节点上。

某种意义上来说，网络不止是计算机，如今的网络也可以和算力划等号。以今天的目光来看，分布式并行计算是AI取得成功的关键，高度可扩展的网络使AI研究人员能够利用更多的计算资源，从而更快、更出色地提升性能。

相对而言，AI和计算机是两个明确的概念，而网络相比之下就显得宽泛很多了，它可以指代很多类型的网络，AI所需要的网络，到底是哪一种呢？

事实上，在AI浪潮中所兴建的数据中心，所用到的后端网络技术，不外乎InfiniBand和以太网这两种，前者源于被英伟达收购的Mellanox，其高速和低延迟特性受到了AI的青睐，而后者则是构成互联网的一种关键技术，如今也在数据中心里被广泛使用。

根据美国调研机构Dell’Oro Group今年7月的报告，未来五年内，用于连接加速服务器的AI后端网络中部署的交换机支出预计将接近800亿美元，这也意味着整个数据中心交换机市场实现了翻倍。

该调研机构指出，当前数据中心交换机市场支出主要用于连接通用服务器的前端网络，但AI工作负载将需要新的后端基础设施建设，虽然目前InfiniBand仍占据主导地位（约90%），但随着技术改进以及市场需求，未来以太网将会在AI后端网络市场取得更多机会，到2027年将占据20%的收入份额。

为什么以太网能在后端网络市场中异军突起，快速敲开AI集群的大门呢？

我们不妨用公路来做例子，以太网就像是高速公路，速度限制很高，但可能会发生碰撞，阻碍交通，它的优势是较高的带宽和可扩展性，但劣势是容易产生丢包。

而InfiniBand更像是特殊设计的专用公路，速度很高，同时可以有效避免拥堵，它的独特架构可以实现零丢包，同时大幅降低延迟，这两个特性对于AI来说非常重要。

基于这两种技术，我们可以把目前的AI系统大致分成两类，即AI工厂和AI云，尽管都面向AI市场，但它们的具体应用却有着较大差别。

AI工厂旨在处理大语言模型（LLM）和其他基础AI 模型等大规模算法模型，这些模型是构建更先进AI 系统的基础模组，而AI云扩展了传统云基础设施的功能，以支持大规模生成式人工智能应用程序，前者更适合InfiniBand，而后者更倾向于以太网。

问题是，适用于传统数据中心的以太网，放在AI集群里完全达不到开箱即用的水平，传统以太网需要应对大量的、松耦合的不同业务的需求，融入了非常广泛而复杂的功能，它们并非专为高性能并行计算而设计，使用传统以太网络搭建的系统只能实现 AI 云预期性能的一小部分。

网络为AI带来了更强大的算力，但反过来，AI的飞速发展又对数据中心的网络架构提出了更高要求，英伟达正是看到了这一趋势，推出了专为AI云设计的Spectrum-X。

02 为AI上云而生

与很多人的印象有所不同，英伟达作为一家靠GPU起家的厂商，在2020年陆续并购Mellanox、Cumulus Networks这两家公司之后，几乎每年都会拿出新的网络产品与解决方案。

2020年5月举行的GTC春季大会期间，英伟达创始人兼首席执行官黄仁勋在线上主题演讲开场10分钟内，就特别向全球观众展示了于同年3月问世的400GbE以太网络交换机：Spectrum-3 SN4000系列，后续又展示了2月推出的BlueField-2 DPU。

2022年3月举行的GTC春季大会上，英伟达又推出下一代以太网络平台Spectrum-4，该平台由 Spectrum-4交换机系列、ConnectX-7智能网卡、BlueField-3 DPU和DOCA数据中心基础设施软件组成，是全球首个400Gbps端到端以太网网络平台。

而在2023年的台北国际电脑展上，英伟达正式推出了全球首款专为AI打造的以太网网络平台——Spectrum-X，其将Spectrum-4以太网交换机与BlueField-3 DPU紧密结合，取得了1.7倍的整体AI性能和能效提升，可以在多租户环境中提供一致、可预测的性能。

从2020年的GTC到2023年的台北国际电脑展，英伟达逐步展现出了自己在网络领域的实力，除了已有的InfiniBand外，以太网成了英伟达在AI网络市场中的新焦点。

那么Spectrum-X与传统以太网平台有何区别呢？

正如英伟达在官方博客中所述，Spectrum-X作为一个端到端的网络平台，集成了交换机、DPU网卡、AI Cloud优化软件包以及可编程开发库，为了解决生成式AI和AI云的痛点，Spectrum-X在不同方向做了针对性优化。

百万卡AI集群，离不开英伟达网络

NVIDIA Spectrum-X

首先是传统以太网被诟病最多的延迟问题，Spectrum-X交换机应用了多种优化技术，最大限度应用cut-through技术，显著降低端口转发时延。并且引入了来自InfiniBand的RDMA（远程直接内存访问）技术，该技术允许GPU之间直接通过网络进行内存通信，这样就可以大幅降低通信延迟，提升集群的整体效率，确保系统在扩展时依旧能保持较高性能。

而前面所提到的因负载冲突而带来的网络拥塞甚至丢包问题，英伟达为此加入了动态路由技术（Adaptive Routing），该技术能够根据网络负载情况，实时调整数据传输路径，最大化网络带宽的利用率，通过这种方式来防止某些链路因负载过高而成为性能瓶颈。

除了以上两个痛点外，AI云与AI工厂最大的区别还是多租户，在多个AI作业同时运行的环境中，Spectrum-X也具备了性能隔离技术（Performance Isolation），该技术确保在多租户环境中，不同租户或应用之间的网络流量互不干扰，确保各个任务都能在最优环境中运行。

除了以上几点外，构建一个十万乃至百万GPU的AI集群是一个浩大的工程，需要大量的时间与投入，传统做法是先构建系统再逐渐调试优化，周期很长，而且一旦出现问题，就会带来巨大的损失。

而英伟达的数字孪生技术（Digital Twin Technology），为构建AI集群的客户解决了这方面的担忧，它提供了一个可以进行预调试和优化的Spectrum-X虚拟环境。在实际构建物理平台之前，用户可以先在虚拟环境中完成所有的配置和测试，然后将这些优化应用到物理数据中心中，这不仅大幅降低了调试成本，还显著缩短了部署时间。

作为NVLink和InfiniBand的提供商，英伟达本身就在网络领域积累了相当丰厚的经验，在理解了客户最真实的需求后，对传统以太网的改造可谓是得心应手，解决了过往被诟病较多的问题，Spectrum-X开始在以太网市场中崭露头角，愈来愈多云服务厂商开始尝试这一新平台。

法国云服务提供商Scaleway就采用了Hopper GPU和Spectrum-X平台来构建自己的AI集群，通过英伟达这套整体解决方案，Scaleway极大地提升了AI计算能力，缩短了AI训练时间，同时加速了AI解决方案的开发、部署和上市时间，有效提高了投资回报率。

事实上，在不到一年的时间内，英伟达已经构建了一个强大的网络生态系统，迅速得到了全球主要 ODM和OEM的支持，如HPE、戴尔、联想和Supermicro等厂商都推出了基于Spectrum-X的端到端解决方案，更多AI集群在构建之初，就把目光瞄向了这个为AI上云而生的平台。