华为重磅发布 CloudMatrix384 技术论文!
本帖最后由 hdy 于 2025-7-27 02:19 编辑近日,华为联合硅基流动发表了一篇论文《Serving Large Language Models on Huawei CloudMatrix384》。
华为CloudMatrix384是一种下一代AI数据中心架构,旨在应对大型语言模型(LLMs)对AI基础设施带来的前所未有的需求。传统AI集群在计算强度、内存带宽限制、芯片间通信开销和严格的延迟要求等方面日益受限,而Matrix384通过硬件和软件的重新架构与协同设计来解决这些挑战。
Matrix384集成了384个昇腾 910C NPU、192个鲲鹏 CPU和其他硬件组件,通过超高带宽、低延迟的统一总线(UB)网络互连,形成一个统一的超节点。这种架构支持计算、内存和网络资源的动态池化、统一访问和独立扩展,特别有利于大规模MoE专家并行和分布式键值(KV)缓存访问等通信密集型操作。
为充分利用Matrix384的能力,论文提出了CloudMatrix-Infer,这是一种全面的LLM服务解决方案,包含三项核心创新:
[*]点对点服务架构:将预填充、解码和缓存分解为可独立扩展的资源池,通过UB网络实现缓存数据的高带宽统一访问,减少数据局部性约束,简化任务调度并提高缓存效率。
[*]大规模专家并行(EP)策略:利用UB网络实现高效的token调度和专家输出组合,支持极高的EP度(如EP320),使每个NPU芯片恰好托管一个专家,实现低解码延迟。
[*]硬件感知优化:包括高度优化的算子、基于微批处理的流水线和INT8量化,以提高执行效率和资源利用率。
通过DeepSeek-R1模型的评估显示,CloudMatrix-Infer在不牺牲准确性的前提下实现了最先进的效率,预填充吞吐量为每NPU 6,688 tokens/s,解码吞吐量为每NPU 1,943 tokens/s(TPOT <50 ms),计算效率分别为4.45 tokens/s/TFLOPS和1.29 tokens/s/TFLOPS,均超过了NVIDIA H100上的SGLang和H800上的DeepSeek的公开结果。此外,INT8量化在16个不同基准上保持了与官方DeepSeek-R1 API相当的模型准确性。
华为CloudMatrix
华为CloudMatrix围绕全点对点高带宽互连和细粒度资源分解原则设计,超越了传统的以CPU为中心的分层设计,促进所有异构系统组件之间的直接、高性能通信。
其核心是超高带宽、低延迟的统一总线(UB)网络,支持系统级的数据移动和协调,并提供四项基础能力:
[*]TP/EP的可扩展通信:UB互连支持NPU之间直接、高吞吐量的点对点通信,使TP和EP组能够超越单个节点的边界扩展。
[*]异构工作负载的灵活资源组合:将CPU、NPU和内存分解为独立池化的资源,实现基于工作负载需求的细粒度组合。
[*]融合工作负载的统一基础设施:高带宽UB网络支持在单个扩展基础设施中同时运行AI和数据密集型应用。
[*]通过分解内存池实现内存级存储:将集群中CPU附加的DRAM聚合为共享的高性能内存池,通过UB访问,加速KV缓存重用、参数加载和模型检查点等延迟关键操作。
CloudMatrix384包含三个不同但互补的网络平面:
[*]UB平面:UB平面完成超节点Scale-up,以无阻塞的all-to-all拓扑直接互连所有384个NPU和192个CPU,支持细粒度并行策略的高效实现。
[*]RDMA平面:支持跨CloudMatrix384超节点和外部RDMA兼容系统的Scale-out 通信,目前采用RoCE,每个NPU提供高达400 Gbps的单向RDMA带宽。
[*]VPC平面:通过高速NIC将CloudMatrix384超节点连接到更广泛的数据中心网络,处理管理和控制平面操作、持久存储访问和外部服务通信。
硬件组件
昇腾 910C芯片
昇腾 910C采用双Die封装,共享八个封装内内存堆栈,并通过高带宽跨芯片结构连接。
[*]计算:每个芯片约376 TFLOPS的BF16/FP16吞吐量,每封装总吞吐量752 TFLOPS,支持FP16/BF16和INT8数据类型。
[*]内存:封装集成八个内存堆栈(每个16 GB),提供总共128 GB的封装内内存,聚合内存带宽3.2 TB/s,每Die可用内存带宽为1.6 TB/s。
[*]网络接口:每个910C Die有两个平面接口, UB平面集成了7 × 224 Gbps, 提供单向196GB/s的带宽,RDMA平面每Die提供单向200Gbps的带宽。
每个计算节点集成8个昇腾 910C NPU、4个鲲鹏 CPU和7个板载UB交换芯片,12个处理器通过UB链路连接到这些板载交换机,在节点内创建单层UB平面。每个NPU配备高达392 GB/s的单向UB带宽,每个鲲鹏 CPU插槽提供约160 GB/s的单向UB带宽。板载单个UB 交换机芯片为超节点架构中的下一个交换层提供 448GB/s 的上行链路容量。
只有NPU参与辅助RDMA平面,每个NPU设备为 Scale-out RDMA流量提供额外的400 Gbps单向链路,每个节点总计3.2 Tbps的RDMA带宽。
四个鲲鹏 CPU插槽通过全网状NUMA拓扑互连,其中一个CPU托管节点的擎天卡(专用 DPU), 不仅集成了高速网络接口,还执行基本的节点级资源管理功能,作为节点的主要南北出口点,连接到数据中心的VPC平面。
UB交换系统
CloudMatrix384 超节点跨越16 个机架,包括:
[*]12 个计算机架:托管 48 个 Ascend 910C 节点(共 384 个 NPU、192 个 CPU)。
[*]4 个通信机架:容纳二层(L2)UB 交换机,负责节点间通信。
通信机架中的 L2 交换机采用7 个子平面(Sub-plane)设计,每个子平面包含 16 个 L2 交换机芯片。每个 L2 芯片提供48 个 ×28 GB/s 的端口,支持无阻塞通信,确保节点间带宽与节点内接近。
软件栈
用于Ascend NPU的CANN
CANN是华为为Ascend NPU开发的全面软件生态系统,作为中间软件层,使高级AI框架(如PyTorch和TensorFlow)与Ascend NPU的底层硬件接口高效集成。
CANN架构:由驱动、运行时和库三个主要层组成,
[*]驱动层作为操作系统和Ascend NPU之间的底层接口;
[*]运行时层是Ascend NPU上应用程序的核心执行引擎;
[*]库层提供一套高度优化的软件组件,加速各种AI工作负载。
CANN支持PyTorch、TensorFlow、ONNX和MindSpore等主流AI框架,显著降低了采用Ascend NPU的门槛。
云部署的基础设施软件
为支持CloudMatrix384在云环境中的部署,华为云提供了一套复杂的基础设施软件,包括MatrixResource、MatrixLink、MatrixCompute和MatrixContainer,旨在抽象硬件复杂性并通过标准云API实现无缝资源编排。
[*]MatrixResource:管理超节点内的物理资源供应,包括基于拓扑感知调度的计算实例分配。
[*]MatrixLink:为UB和RDMA提供网络服务,支持QoS保证和动态路由。
[*]MatrixCompute:协调CloudMatrix实例的生命周期,从裸金属供应到自动扩展和故障恢复。
[*]MatrixContainer:基于Kubernetes提供容器服务,增强了拓扑感知调度,以利用CloudMatrix的高性能互连。
[*]ModelArts:位于基础设施栈之上,提供端到端的AI平台服务,包括ModelArts Lite、ModelArts Standard和ModelArts Studio。
CloudMatrix384与DeepSeek模型的架构协同
MoE通信协同:CloudMatrix384的高带宽、低延迟UB互连特别适合DeepSeek-R1的MoE架构在token调度和专家输出组合过程中对NPU间通信的需求。
内存容量和管理:DeepSeek-R1需要大量内存资源用于权重和激活,包括注意力KV缓存,CloudMatrix384提供49.2 TB的总NPU附加内存,支持通过张量、流水线和专家并行的组合分布式存储模型权重。
上下文缓存重用:LLM工作负载受益于前缀缓存重用,CloudMatrix384通过UB平面使NPU能够直接访问分解的CPU附加DRAM池,为远程KV缓存访问提供内存级带宽和延迟。
量化效率支持:Ascend 910C对INT8计算的支持为优化DeepSeek模型的推理性能提供了机会,将模型权重和激活从更高精度量化到INT8可显著减少模型内存占用、降低计算开销并减少执行期间的内存带宽需求。
基于CloudMatrix384的DeepSeek模型服务方案(CloudMatrix-Infer)
CloudMatrix-Infer提出了一种独特的点对点服务架构(Peer-to-Peer Serving Architecture)将推理流程解耦为预填充(Prefill)、解码(Decode)、缓存(Caching)三个独立子系统,通过高带宽UB网络实现资源池化与统一访问。预填充集群使用16 NPU/实例(EP32并行)处理输入提示,解码集群采用160 NPU/实例(EP320并行)支持大规模专家并行,缓存集群基于CPU内存池提供分布式KV缓存与模型缓存。
解码阶段的紧密耦合优化
针对 MoE 模型设计大规模专家并行(LEP)策略,利用 UB 网络的低延迟高带宽特性,通过 FusedDispatch 和 FusedCombine 融合通信算子,将token调度与专家输出合并过程中的通信开销降至最低。算子内部采用 AIV-Direct 直接内存写入、提前 INT8 量化(减少 75% 通信 payload)和静态双缓冲预分配技术,支持 EP320 级并行度,使每个 NPU Die 托管一个专家,配合微批量流水线(双流异步执行注意力与 MoE 计算),实现解码延迟与吞吐量的平衡,吞吐量较基线提升 5.8%-9.4%。
资源高效的预填充策略
采用混合并行(SP-TP-SP)与微批量流水线,通过序列并行打包输入序列、张量并行分配注意力头计算,平衡不同长度输入的负载,结合 SDMA 引擎卸载通信任务、AIV 处理轻量级计算,使预填充吞吐量提升 23%-31%。同时,通过 RDMA 平面实现预填充与解码阶段的 KV 缓存异步传输,避免对低延迟解码的干扰,并利用 UB 驱动的分布式缓存(EMS)实现上下文缓存复用,缓存命中率达 90% 时预填充时间减少 59%。此外,INT8 量化方案通过混合精度策略、自适应缩放和块级剪裁,在 16 个基准测试中保持与官方模型相当的准确率,同时提升计算效率与内存带宽利用率。
性能评估与实验结果
预填充阶段:CloudMatrix-Infer在默认配置下每个NPU处理5,655 tokens/s,计算效率为3.76 tokens/s/TFLOPS;在理想的“完美EPLB”条件下,单NPU吞吐量达6,688 tokens/s(INT8),计算效率4.45 tokens/s/TFLOPS,超越NVIDIA H100上的SGLang和H800上的DeepSeek。
解码阶段:配置为每个NPU批大小96和KV缓存长度4,096 tokens时,TPOT为49.4 ms,单NPU吞吐量1,943 tokens/s(TPOT<50 ms),效率1.29 tokens/s/TFLOPS。
在严格延迟约束(TPOT<15 ms)下,仍维持538 tokens/s吞吐量。
INT8量化准确性:在MMLU、C-Eval等16个基准测试中,量化后模型准确率与官方DeepSeek-R1 API接近。
总体而言,CloudMatrix 为大规模 AI 工作负载部署提供了高效、可扩展的平台,为未来 AI 数据中心基础设施设定了基准。未来华为将聚焦于统一 VPC 和 RDMA 平面、扩展超节点规模、CPU 资源的深度分解和池化,以及更细粒度的组件级分解和自适应部署策略,进一步提升 AI 数据中心基础设施的可扩展性、灵活性和效率。
页:
[1]
