hdy 发表于 2025-7-27 02:00

HPC基础设施的架构、新兴技术和网络的关键作用


引言
高性能计算(HPC)系统代表着计算能力的巅峰,支撑着从气候模拟到人工智能突破等众多领域的发展。随着这些系统在性能和复杂性方面不断扩展,理解架构及新兴技术(特别是网络技术)的作用对于可持续计算变得愈发重要。理解HPC基础设施架构
现代HPC系统建立在硬件和软件组件的精心编排之上,这些组件协同工作,形成了一个优化性能和效率的分层结构。图1:HPC基础设施的逻辑布局,显示了管理节点、登录节点、CPU节点、FAT节点、GPU节点和存储节点之间通过低延迟网络和以太网的互连关系。
HPC系统的核心是为不同工作负载设计的专用计算节点。CPU节点处理传统计算任务,而配备扩展内存的FAT节点则用于解决大规模问题。GPU节点通常被指定用于AI分区,为机器学习和可视化任务提供加速计算。存储节点管理这些系统生成和处理的海量数据。
两种不同类型的网络连接这些组件。低延迟网络(通常使用InfiniBand等技术)实现计算节点之间用于并行处理任务的高速通信。以太网网络处理管理流量、用户访问和对性能要求较低的通信。这种双网络方法确保计算任务不会受到管理开销的影响。HPC的基本组件及其功能
协调HPC系统的软件栈与硬件同样重要。几个关键组件共同工作,管理资源、调度作业并维护系统健康。图2:HPC系统的软硬件组件,列出了集中用户管理、共享文件系统、调度器、监控系统和裸机配置等功能及其开源实现,同时包含关键硬件规格。
像OpenLDAP这样的集中用户管理系统在数千个节点上提供统一的访问权限控制。Lustre、BeeGFS或Ceph等并行文件系统使所有计算节点能够高效访问共享数据,这是大规模计算的关键要求。
SLURM等作业调度器代表了系统的智能部分,通过排队和优先级来优化资源分配。这些调度器确保昂贵的硬件资源得到有效利用,在最大化吞吐量的同时最小化空闲时间。
监控和告警系统持续跟踪整个基础设施的性能指标。Prometheus和Grafana等工具提供系统健康状况的实时可见性,使管理员能够识别瓶颈并在影响操作之前预防故障。
硬件组件本身是工程奇迹。来自英特尔和AMD的现代处理器功耗超过300瓦,而NVIDIA的Blackwell架构等前沿GPU功耗超过1.2千瓦。支持400Gb/s InfiniBand连接的网络交换机功耗可达1.7千瓦,凸显了高性能互连的巨大功耗需求。实际应用:Leonardo超级计算机
在TOP500榜单中排名第9的Leonardo超级计算机展示了现代HPC架构在规模上的实现。该系统演示了理论概念如何转化为实际应用。图3:Leonardo超级计算机的详细规格和架构,展示了其模块化设计,包括加速器模块和数据中心模块,性能达到241.20 Pflop/s,以及连接近180万个核心的Dragonfly+网络拓扑。
Leonardo的架构分为两个主要模块:一个拥有3,456个节点、提供240 PFLOPS计算能力的加速器模块,以及一个拥有1,536个节点、提供9 PFLOPS的数据中心模块。系统使用Bull Sequana X2610计算节点和X2135 GPU节点,全部采用液冷来管理密集的热量产生。
网络基础设施采用Dragonfly+拓扑中的NVIDIA HDR200 InfiniBand技术。这种精密的设计为每个节点提供高达400 Gb/s的带宽,同时保持并行计算所需的低延迟。整个系统运行功率为7.5兆瓦,凸显了现代HPC设施面临的能源挑战。网络对HPC性能的关键影响
网络基础设施在HPC系统中占据了成本和能耗的重要部分,约占系统总支出和功耗的10%。图4:条形图显示网络组件约占HPC基础设施总功耗和总成本的10%,强调了高效网络解决方案的重要性。
这种巨大影响使网络效率成为关键的设计考虑因素。随着计算节点变得更加强大,网络必须按比例扩展以避免成为瓶颈。传统电互连在扩展时面临物理限制,导致系统增长时功耗和复杂性呈指数级增长。用于可持续HPC的新兴技术
几项创新技术正在涌现,以应对HPC系统的可持续性挑战。图5:提高HPC能效的三项关键技术:两相液冷系统、RISC-V CPU/GPU设计和光网络,特别强调了DYNAMOS项目开发高能效光子器件的工作。
两相冷却技术代表了热管理的进步。通过利用汽化潜热,这些系统比传统液冷更有效地散热,减少了冷却基础设施所需的能源。
RISC-V架构为处理器设计提供了模块化方法。这种开源指令集架构能够创建针对特定工作负载优化的处理器,在提高目标应用性能的同时可能降低功耗。
光网络在解决性能和效率挑战方面特别具有潜力。光子互连提供高带宽和低延迟,同时比电气替代方案消耗的能量显著更少。基于光的通信消除了高频率和长距离下困扰电信号的许多物理限制。DYNAMOS项目:HPC网络的变革
DYNAMOS(具有模块化光学子系统的动态可重构数据中心网络)项目代表了为数据中心开发下一代光网络技术的全面努力。图6:地图显示了遍布欧洲的DYNAMOS项目联盟成员,包括主要技术公司和研究机构,共同开发模块化光网络解决方案。
通过欧洲地平线计划资助(资助协议101070342),DYNAMOS旨在实现雄心勃勃的技术目标:亚微秒确定性延迟、无争用的全分段带宽、接近飞焦耳每比特的能效,以及支持数千个节点的可扩展性。光网络的技术创新
DYNAMOS网络架构整合了多项突破性技术的协同工作。图7:技术比较表显示DYNAMOS技术在延迟、带宽、拥塞控制和可扩展性方面如何超越当前解决方案,支持多达65,536个节点和0.84 Eb/s的系统带宽。
能够在宽度超过110纳米的波段上以仅一纳秒切换的快速可调激光器构成了系统的基础。这些激光器与基于硅有机混合和厚SOI技术的100 GHz宽带电光调制器配对,以实现最大能效。
光分组交换机使用广播选择架构,实现了具有一纳秒切换时间的高速路由。这种设计消除了传统交换机中的电子处理瓶颈。
系统级集成将这些组件与网络架构协同设计。激光器和调制器集成到DIPS(分布式互连光子系统)卡中,形成模块化构建块,可以从小型集群扩展到支持65,536个节点、具有每秒0.84艾字节系统带宽的大型超级计算机。E4 Computer Engineering在DYNAMOS中的角色
E4 Computer Engineering为DYNAMOS项目带来了关键的系统集成专业知识。作为专注于HPC解决方案的联盟成员,E4协调网络和系统演示,确保所有组件无缝协作。他们既是系统集成商又是最终用户,提供指导架构决策的实际需求。
E4主导定义展示DYNAMOS技术在实际应用中的用例。他们负责演示系统的主板开发和配置,确保光网络组件与标准计算硬件正确集成。此外,E4对基于光网络的云基础设施进行全面的成本、功率和业务分析,评估这些先进技术的商业可行性。展望未来
计算需求增长与可持续性要求的交汇使高效网络对未来HPC系统变得至关重要。像DYNAMOS这样的项目表明,光网络可以在减少能耗的同时满足性能需求。
正如通过Leonardo例子所看到的,现代HPC系统已经消耗兆瓦级功率,一些TOP500系统需要高达40兆瓦。网络基础设施占据了这一消耗的重要部分,使光互连创新对可持续扩展变得必不可少。
通过DYNAMOS等倡议开发的技术将改变我们构建和运营大规模计算系统的方式。通过用高效的光学替代品取代耗电的电互连,我们可以在管理能耗和复杂性的同时继续扩展计算能力。

页: [1]
查看完整版本: HPC基础设施的架构、新兴技术和网络的关键作用