走进Elon Musk旗下10万GPU xAI Colossus集群，由超微电脑协助建造

hdy

在孟菲斯，Elon Musk旗下的xAI公司正推动人工智能超级计算的极限。该公司近期完成了Colossus，一个拥有10万块NVIDIA H100 GPU的庞大AI集群，由Supermicro提供支持。这座多亿美金级的设施不仅规模惊人，且在122天内迅速建成，展示了团队的高效合作与执行力。

Supermicro液冷机架在xAI中的应用

Colossus的基本构建模块是Supermicro液冷机架。每个机架包含八个4U服务器，每个服务器配有八个NVIDIA H100，总计64个GPU。八个这样的GPU服务器加上Supermicro冷却分配单元（CDU）和相关硬件构成一个GPU计算机架。

xAI Colossus数据中心Supermicro液冷节点低角度视图

这些机架按八台一组排列，形成包含512个GPU的组，并通过网络连接形成更大系统内的小型集群。

xAI Colossus数据中心Supermicro 4U通用GPU液冷服务器

在这里，xAI使用的是Supermicro的4U通用GPU系统。这些是目前市场上最先进的AI服务器，主要原因有两点：一是液冷程度高，二是易于维护。

xAI Colossus数据中心Supermicro 4U通用GPU液冷服务器近景

两个x86 CPU液冷模块相对常见，独特之处在右侧。Supermicro的主板集成了几乎所有HGX AI服务器中使用的四个Broadcom PCIe交换机，而不是将它们放在单独的板卡上。Supermicro还设计了一个定制的液冷模块来冷却这四个PCIe交换机。其他AI服务器通常先采用风冷设计，再加装液冷模块，而Supermicro的设计从一开始就是为液冷而生，并且完全由一家供应商提供。

Supermicro SYS 821GE TNHR NVIDIA H100和NVSwitch液冷模块

这类似于汽车，有些车型最初设计为燃油动力，然后再适配电动动力系统，而有些电动车则从零开始就为电动设计。Supermicro系统是后者，而其他HGX H100系统是前者。

在机架的后方，我们看到用于400GbE连接GPU和CPU复合体的光纤，以及用于管理网络的铜缆。这些网络接口卡（NIC）也装在托盘上，方便更换而无需移除机箱，但它们位于机箱后方。每台服务器配有四个热插拔电源，通过三相配电单元（PDU）供电。

XAI Colossus数据中心Supermicro 4U通用GPU液冷服务器后视图

在机架底部是冷却分配单元（CDU），类似于巨大的热交换器。每个机架中都有一个流体循环系统，为所有GPU服务器供液。这里说的是“流体”而不是“水”，因为通常这些循环系统需要根据液冷模块、管道、歧管等部件的材料来调整流体。

XAI Colossus数据中心Supermicro CDU机架底部

每个CDU都配有冗余泵和电源，以便在其中一个故障时可以现场更换，而无需关闭整个机架。

Patrick移除Supermicro CDU泵

这是隐藏在各种管道和电缆中的Colossus机架内的CDU。

XAI Colossus数据中心Supermicro CDU后视图

在Colossus机架的两侧，有三相PDU以及机架歧管。每个前置1U歧管为4U通用GPU系统供液，而它们则由连接到CDU的机架歧管供液。所有这些组件都用红蓝配件标记。幸运的是，这种颜色编码很熟悉：红色代表热循环部分，蓝色代表冷循环部分。

XAI Colossus数据中心Supermicro机架歧管软管

您可能注意到，这些照片中仍然有风扇。许多液冷服务器中仍使用风扇来冷却DIMM、电源、低功耗的主板管理控制器、NIC等组件。在Colossus，每个机架需要在数据大厅内保持冷却中性，避免安装大规模的空气处理设备。服务器中的风扇从机架前方吸入较冷的空气，并将空气排出到服务器后方。之后，空气被后门热交换器吸走。

XAI数据中心后门热交换器

虽然后门热交换器听起来很高级，但它们与汽车的散热器非常相似。它们将机架的排气通过带翅片的热交换器/散热器，而这个热交换器内有液体流动，与服务器类似，热量可以传递给设施水循环。空气通过单元背部的风扇拉出。与大多数汽车散热器不同，这些散热器有个特别的设计：在正常运行时会亮蓝色，遇到需要维护的问题时可亮红色等其他颜色。

XAI数据中心后门热交换器

这些后门热交换器在数据大厅中还有一个重要设计作用。不仅可以消除Supermicro液冷GPU服务器的杂散热量，还能去除存储设备、CPU计算集群和网络组件的热量。

存储与计算：支持海量数据的处理

在大型AI集群中，存储是至关重要的一环。在AI集群中，通常会看到大型存储阵列。在这里，我们看到来自不同供应商的存储软件在运行，但几乎每个存储服务器都是Supermicro的。这并不奇怪，因为Supermicro是许多存储供应商的OEM，以高密度的NVMe闪存为主。尽管闪存的成本较高，但与传统磁盘相比，闪存性能更高且耗能更低，因而成为大规模AI集群的优选。

XAI Colossus数据中心Supermicro 1U NVMe存储节点

此外，CPU计算节点也在xAI的设施中扮演重要角色。CPU在数据处理和任务分配方面仍有优势，因此被用于支持GPU的训练和推理工作。这些1U服务器设计上兼顾了计算密度与散热需求，通过风扇和后门热交换器将热量排出，以保证系统的平稳运行。有一个很有趣的地方是一些存储服务器看起来与CPU计算服务器非常相似。

XAI Colossus数据中心Supermicro 1U NVMe存储节点2

网络架构：400GbE以太网的高速连接

在Colossus的网络设计中，每个GPU服务器都配备400GbE以太网连接，（每个光纤连接比常见的1GbE快400倍）。每个系统有九个此类连接，意味着每台GPU计算服务器大约有3.6Tbps的带宽。使得数据传输速度极高。GPU集群之间使用的RDMA网络每台GPU都拥有独立的网络接口卡（NIC），这使得整个网络架构不仅高速且高效。相比于传统超级计算网络的InfiniBand技术，xAI选择了以太网，以便实现更大的扩展性。以太网作为互联网的基础结构，能在大规模下轻松扩展，xAI的创新之举将AI集群网络推向了新的高度。

xAI Colossus的网络

Colossus还为CPU集群设计了独立的400GbE网络，确保GPU和CPU的任务可以各自高效处理。这种分离的网络架构使得xAI在管理和扩展网络时更加灵活。

XAI Colossus数据中心交换机光纤

XAI Colossus数据中心单模和多模光纤

XAI Colossus数据中心交换机堆栈

XAI Colossus数据中心头顶布线

巨型设施的背后：冷却与电力的支持

在Colossus数据中心，我们还能看到庞大的水管网络。冷水和温水在设施内循环，为AI服务器提供所需的冷却。通过CDU将GPU和热交换器产生的热量转移到设施水系统，温水再被输送到室外的冷却设备中降温，从而完成冷却循环。

XAI Colossus 数据中心设施水管

电力方面，团队不仅利用了主电网，还采用Tesla的Megapack储能系统来缓解瞬时功耗波动。这一系统在应对AI服务器突发的功率需求上效果显著，增强了设施的整体稳定性。

开创AI集群建设新高度

Colossus的建成不仅是硬件和技术的胜利，更是不同领域专家齐心协力的成果。为了构建这一庞大的AI设施，xAI团队抛开了供应商间的分歧，以清晰的目标和高效的执行力达成了前所未有的成就。这一项目展现了一个全球顶尖团队如何推动AI边界，并将这种规模的AI集群建设速度提高到一个新高度。

在未来，Colossus的潜力不仅仅体现在2024年的应用上，它有望成为AI技术发展的重要里程碑。随着更多资源和人才加入xAI和Supermicro，人工智能的应用领域和规模将进一步拓展。Colossus的未来，毫无疑问，将远超简单的聊天机器人范畴。

-end-