液冷交换机及不同公司液冷交换机设计方案介绍
本帖最后由 hdy 于 2025-5-6 23:25 编辑01
什么是交换机？在数据中心中，交换机和服务器是两大核心组件，分别承担网络互联和计算/存储的核心职责。交换机是数据中心的网络中枢，负责高效连接和流量管理，确保设备间的通信畅通，可以把交换机比喻为是数据中心的“血管”，确保数据高速、可靠流动。
02 为什么交换机需要液冷
“和尚关注念经，道士关心养生”，网络关注交换机液冷，服务器关心GPU液冷：12 年间典型交换机 system 功耗增长 22 倍，Optics 增长 26 倍，ASIC Serdes 增长 25 倍，功耗增长速度超过风冷散热能力提升速度。
交换机液冷需求 1：128 x 3.2T DR16-DSP 设备为例，光模块功耗大于 GPU，耐温低于 GPU，可增加散热器空间远小于 GPU。交换机液冷需求 2：交换芯片功耗和热流密度均大于 GPU。 03
液冷交换机设计三难
难点 1：交换机冷板系统属于“三维”组装，GPU 液冷冷板系统属于“二维”组装，三维难度远大于二维。
难点 2：硬件不可能不坏，液冷亦如此，单台交换机宕机影响远大于单台服务器，如何实现即使漏液单台交换机“不宕机”。
难点 3：Belly-belly optics 冷板设计较容易，系统成本更高，stack opitcs 方案成本更低，但是截止 2024 年前，市面上没有 bottom optics in stack cage 冷板方案可用。
04
不同厂家液冷交换机设计思路及案例
1.阿里/锐捷 Liquid Tigatron交换机阿里/锐捷基于 S³IP UNP 理念定制自动化液冷组装平台，已通过批量交付验证，可实现 TH5 Tigatron 交换机液冷套件的“三维”快速组装和气密测试。TH5 Liquid Tigatron 交换机实现液路和电路分离设计，高风险区漏液不会渗漏到电路板，提升可用性。采用铝板嵌水管的低成本方案，支持多个 2x4 stack cage上、下层 optics 级联液冷，解决行业难点（一块冷板覆盖22个光模块，保障所有模块良好接触散热，且插拔50～100次后热性能不下降）。
2.英伟达GB300液冷交换机在 GTC 2025 上展示的 NVIDIA GB300 NVLink 交换机托盘。交换机采用全液冷设计，适合 NVL72 机架。可以看到前面的手柄，然后是后面的液体冷却喷嘴、母线电源和四个 NVLink 电缆盒的连接器。
3.HPE Slingshot 液冷 51.2T 交换机
该交换机专为 HPE 的液冷超算平台设计。与其他 51.2T 交换机不同的是，这款设备完全采用液冷设计，不使用风扇。这样的设计具有挑战性，因为它不仅需要冷却交换机的 ASIC（可能是 Rosetta 2），还需要冷却光模块。在设备的正面或背面，HPE 提供了 24 个光模块插槽。在这种速度下，插拔式光模块产生的热量非常高，因此这些模块也需要液冷散热。
4.Celestica51.2T交换机液冷方案
Celestica51.2T公司单相冷板液冷交换机方案。
04
液冷除了带来冷，还有什么？
液冷，可不仅仅是个简单的散热手段，它更像是网络设备领域“创新引擎”的润滑剂。比如：最近流行的 CPO “缓蚀剂”Vertical Switch 设计，需要液冷加持才能持续演进。
还有行业内多年备受争议的 CPO 交换机：冷板式液冷更是强制需求套装。
页:
[1]
