光子技术在超级计算机系统中对HPC与AI的应用

hdy

引言

随着高性能计算（HPC）和人工智能（AI）工作负载对数据处理和通信速度的需求不断增长，光子技术在超级计算机系统中的作用变得越来越重要。这种转变代表了超级计算机互连技术设计和实施方式的根本性改变[1]。

HPC互连技术的演变

超级计算中光子集成的发展历程反映了互连技术的持续演进。Cray公司（现为惠普企业HPE的一部分）在多年开发专有互连技术后，于2018年做出了重要的战略转变。公司推出的首个基于以太网的HPC网络标志着一个重要转折点，认识到标准化的优势超过了采用开放标准带来的小幅成本增加。

Slingshot网络代表了这种新方法。该网络建立在以太网物理层和具有协商增强功能的以太网链路层之上，能够转发以太网流量、路由IP，并实现名为ST的专有可靠传输协议。系统采用开放的网络API，其libfabric提供程序可在GitHub上获取，并正在通过超高速以太网联盟（UEC）进行标准化。

图1：HPC互连正在逐步转向标准化。图中展示了Cray从专有互连转向基于以太网的Slingshot网络的过程，包括其物理层、链路层和传输协议的详细信息。

这种方法在多个大型装置中取得了成功。全球顶级超级计算机，包括Frontier（#1）、Aurora（#3）、Perlmutter（#5）、Alps（#7）、LUMI（#8）和El Capitan（#10），都采用了这种标准化方法，证明了其在大规模应用中的有效性。

图2：使用Slingshot方法的成功案例。图中展示了全球前10名超级计算机系统，其中7个系统采用了HPE的Slingshot互连技术。

超级计算中光子技术的当前应用

尽管互连技术取得了进展，光子技术在超级计算中的当前应用仍然有限，主要原因是成本和可制造性的限制。一个百亿亿次级系统通常需要30,000到100,000个网络接口卡（NIC）、3,000到5,000个交换机以及100,000到250,000条链路。网络设计优化的重点是全局带宽与成本的比率，而不是绝对性能。

关键限制因素是成本：光学链路的成本约为电气链路的10倍。这种显著的价格差异导致了选择性部署策略。大规模系统中常用的蜻蜓（Dragonfly）网络拓扑结构，在每对NIC之间实现一条长链路，在机柜内使用电气链路，仅在需要长距离传输的机柜之间使用光学链路。

图3：当今光子技术的使用情况。由于光学链路成本是电气链路的10倍，蜻蜓网络在机柜内使用电气链路，在机柜间使用光学链路以优化成本。

光子集成的未来

随着新技术挑战的出现，形势正在快速变化。100 Gbps/通道和200 Gbps/通道的ASIC设计已经完成，这些设计使用能够驱动机柜内电气链路的SerDes。然而，主动链路的比例正在上升，行业在400 Gbps/通道设计方面面临新挑战。

在400 Gbps/通道速率下，电气传输距离变得极其有限，SerDes功耗高且持续增长。这些限制为光子技术同时解决传输距离和功率挑战提供了机会。然而，解决方案必须价格合理、可制造且可靠，才能实现广泛应用。HPE计划构建使用200 Gbps/通道组件的演示器，以向公司内部、管理层和客户验证这些概念。

集成架构考虑因素

光子技术的首选集成方法涉及多芯片交换机核心架构。当前的交换机核心已经达到或超过最大Reticle尺寸，需要采用多芯片设计。不同端口可能具有不同的特性，包括标准以太网-UEC接口、Fabric连接以及光电共封装（CPO）或共封装芯片（CPC）。

图4：希望如何集成光子技术。交换机核心已达到最大Reticle尺寸，需要多芯片设计。不同端口具有不同特性，包括以太网-UEC、Fabric和CPO/CPC接口。

对于NIC集成，要求有很大不同。HPE在NIC和交换机中使用相同的"PML"模块，提供MAC、PCS和链路功能，支持8个通道，可组织为1、2、4或8个链路。公司的目标是在NIC和交换机中使用相同的光子技术，但NIC应用仅需要8个通道（200或400 Gbps/通道），且必须保持低成本。

图5：NIC光子集成。图中显示了在不同连接速率下的NIC配置，包括400/800/1600 Gbps和800/1600/3200 Gbps的连接方案。

关键挑战

技术获取和制造：基本挑战在于技术的可获得性。最先进的交换机使用TSMC N3和N2P工艺制造，光子解决方案必须通过既定的制造流程获得。这一限制使选择仅限于硅服务供应商提供的光电共封装方案。即使像HPE实验室内部存在优秀的光子技术，如果无法在制造流程中获得，也无法使用。

功耗：功耗仍然是一个关键问题。每端口功耗已经过高，现有光学解决方案通常会加剧这一问题。简单地与主动光缆（AOC）进行比较是不够的，必须考虑整个系统。在低负载条件下降低功耗的挑战尤为严峻，因为网络负载在短时间尺度上变化很大，正如Frontier系统的功耗模式所示，其变化主要由GPU负载主导。

图6：光子技术的功耗挑战。图表显示了Frontier系统功耗的时间变化，主要由GPU负载主导，网络负载在短时间尺度上变化很大。

封装复杂性：下一代交换机需要为多芯片ASIC提供直接液冷，并使用无源光链路连接到卡边缘。这创造了一个极其复杂和昂贵的组件，引发了关于合理良率下的可制造性、供应链能力和可维护性的严重问题。这种复杂性的合理性在于需要最小化网络直径，从而降低成本、延迟和功耗。然而，如果有低成本的光学集成路径，这些权衡将发生显著变化。

图7：下一代交换机的复杂封装图，带有直接液冷和光纤尾纤

可维护性问题：随着系统变得更加集成，可维护性选项可能仅限于更换整个交换机（高可能性、复杂性和成本）或无源光缆（低可能性、复杂性和成本）。靠近芯片的可插拔光学器件将提供有价值的可维护性优势，同时保持低功耗。能够更换激光器代表了改善可维护性的起点。

行业行动号召

前进的道路需要全行业的合作。硅服务公司目前维护专有的芯片间互连，提供高性能但限制了与各自光子解决方案的连接。挑战在于创建一个提供机会和供应多样性的商品光学端点市场。

解决方案在于推动CPO标准接口的采用。对于400 Gbps/通道实现来说时间紧迫，HPE预计最初将使用其硅供应商的技术。然而，现在建立标准将有利于未来几代技术，并创建一个更具竞争力和创新性的生态系统。

结论

光子技术在超级计算机系统中的集成既是巨大的机遇，也是重要的挑战。虽然当前在成本、功耗和可制造性方面的限制限制了光子技术的部署，但下一代系统在400 Gbps/通道及更高速率下的技术需求使光子解决方案变得越来越有吸引力。成功需要解决标准化、制造可获得性、功率效率和可维护性等基本挑战。通过行业合作和标准化努力，光子技术能够改变高性能计算和AI基础设施的格局。