华为昇腾CloudMatrix 384超节点优势的原理解构
华为昇腾CloudMatrix 384超节点“单独打不过你，但是组在一起比你强”抛入一个问题：“当你有两张RTX 3090组在一起，算力会超过RTX 5090吗？”（以下图片与数据均来自于B站UP差评君。）
英伟达的架构和协议这种问题在互联网不少见，再加上英伟达取消了RTX 4090的NVLink（把多张卡连起来的技术），消费级显卡不再能多卡连起来组网算力，而这项计算就只专供给专业卡使用。如果在家用电脑上是两张显卡之间的通讯，但是放到数据中心，这种几千几万张显卡的集群，这时候虽然单卡能力很重要，但是这是总体算力的关键是就变成了如何组织这么多的显卡协同工作上面了。
华为是如何高效用现有算力组成一台超级集群现在数据中心的原理和弱点首先我们先了解数据中心是如何工作的，它的本质是很多GPU组合起来的“算力生产线”，单颗GPU的算力就是一个工厂的产能，GPU核心越多显存越大，相当于这个工厂的工人越多，仓库就越大（算力也越高）。受到摩尔定律的限制，单颗GPU“扩厂”是有极限的，它可以自己处理一些小任务，但是换到动辄几百亿参数的计算规模的大模型，单颗的情况下无论是算力、显存还是带宽都不够的。这种体积下在制成没有大进步的话，再怎么扩建生产线和仓库的面积都无法超于卡本身的大小。所以为了满足超大规模的计算需求，这时候人们就想到了把很多颗GPU组成服务器，再把服务器集成起来形成数据中心。但是这种算力不是线性叠加的，一百张GPU串起来的有效算力，往往只相当于60到70张卡的算力甚至更低，这是因为在数据中心里GPU不是单独的运行，每个GPU都需要协同，就要CPU把一个模型的训练任务拆分成多个子任务，然后分发给多个计算设备。像前端服务、后端执行、数据库和调度系统这些业务模块会被拆解到不同的GPU。在大模型训练的时候，每个节点上的GPU都必须同时运行协同工作，然后统一调配，这时候新的问题就显现了，这个调配和流转的过程需要GPU实现同步的数据交换，数据算出来了还要传输出去，越大规模的训练任务，交换的需求就越频繁密集，即便是单卡性能很强悍，但是传输效率跟不上也会限制到整个集群的训练能力。这就是为什么组在在一起后算力总和只能达到百分之五十左右。
机内交换传统的方案下，同一个服务器中GPU之间的数据交换叫做机内交换，是通过PCle协议完成的，装过机的对这个协议并不陌生，这就是显卡和主板之间的插口，是显卡和CPU之间的连接协议，在一个服务器上面会有一排这样的接口，接上计算卡之后，多块GPU就能分别跟CPU连上，这时候就能把CPU作为中介通信。
机外交换不同服务器之间的GPU之间的连接叫做机外交换，数据传输用的是以太网网络，从一个服务的GPU发送在另一个服务器的GPU就先要把数据发送给服务器上的CPU再传给网卡，然后由网卡发给另一个服务器的网卡，然后发给CPU经过处理后的数据再发给GPU这样走一遍完成一次交换。
更好的协议所以不管是机内交换还是机外交换，在传统的计算中心的架构下，GPU之间是无法直接通信的，而是通过CPU和网卡来中转，每次的中转都是重新复制数据，相当于货车走一段路会有好几个检查站，需要你每次都卸货下来检查然后重新装货，相当耗能耗时。为了解决这种传输问题，更高效的协议就出现了，比如NVLink协议就是能让同一个服务器下的GPU绕开CPU直接建立连接，还有就是InfiniBand机RDM机外互联，能够让机外连接的GPU也能绕开CPU和网卡直接建立通信。将这些协议放在一起的话，我们就可以得到一个不用CPU的集群。
但是也只是看上去没了中转站，虽然InfiniBand的协议能够绕开CPU，但是还是没办法跳过网卡的PCle协议，而且也不是所有的数据都能使用这条专线传输，现在的数据中心很多都采用了包含NPU、FPGA等非GPU的硬件异构方案。NVlink只是GPU之间的专用专线，那其他的计算模块之间还是要走CPU中转。
华为带来的革新连接的方式而最近华为发布的CloudMatrix 384超节点就是数据中心架构的新尝试硬件上和传统数据中心一样，都是由计算机柜和路由柜组成，但是连接方式走了不一样的路线，和之前的所有连接方式都不一样，在它里面华为采用了自研的高速互联总线，将数据中心里面的所有硬件连接到同一个云上面，这样做的就可以除去掉繁多的中转环节从而实现真正的点对点互联，这样就可以实现了更大的算力密度和互联带宽。每个CloudMatrix超节点都包含了48台相互连接的8卡升腾服务器，能够达到单个超节点五十倍的算力规模和300Pflops，还能做到1229TB/s的内存带宽，比英伟达的常用方案快一倍多。
结构的方式过去以CPU为核心的“从主”结构中，CPU是觉得控制中心，其他所有的外设和计算资源都会成为CPU的“从属”设备，统一通过CPU来调度通信和资源分配，虽然稳定但是要放到大规模的异构化AI数据中心上面，这个控制中心就会很笨重。到了384超节点上的对等模式，就是把“从属”的属性去掉，所有的硬件都在同一个频道上对话，不关那个设备是否在同一个服务器内只要还在你的数据中心里，发送一个连接请求就能实现任意硬件之间的点对点传递，比如之前的机外互联，还是要经过一次网卡的PCle总线进行中转，但是回到CloudMatrix超节点的架构下，只要服务器A的GPU发送一个请求指令，就能直接握手服务器B的另一个GPU，完全取消了中间环节。这种统一传输路径的方法，还能让后续升级路径简单和统一化，这样下来只要把一条路径升级了就相当于升级了全部的路径。
MoE训练模型的原理最后的最重要的这种去除主从，点对点通信的算力结构，非常适合最近很火的MoE模型训练，够保证模型参数规模足够庞大的同时还能大幅度降低每次训练时的实际计算量。传统的稠密模式是所有的参数都要同时参与计算，其实其中很多的参数对当前的输入几乎没有贡献。而MoE像是专攻队，只会去调用最适合当前任务的少部分专家节点参与工作，这样一边是节省算力，一边还能让推理速度提高。DeepSeek就是用了MoE模型，实现了用OpenAi二十分之一的成本超越ChatGPT。MoE的核心就是在训练过程中不激活所有专家模块，而是将输入样本送到分布在不同GPU上的专家模块进行计算，再把结果送回原始样本所在的GPU上，在这个结构下，用于训练的数据先等分分给每个GPU，数据进入GPU后会进入一个门函数，然后判断每一段数据应该交给那个专家模块处理，再把数据传输到对应的专家模块，专家模块越多数据就越加准确，但是一个GPU能放下的专家模块是由极限的，这时候就要去到另一个GPU或者另一个服务器上面处理，所以传统架构下就不得不进行大量低效的机外交换。
MoE训练模型的为何如此适配这时候CloudMatrix就解决了这种低效的机外交换的调度瓶颈，这种统一的互联协议，把所有的GPU连接到一个“自由的算力池（云）”，这样结构下所有的GPU都不在属于某个服务器，当某个MoE模块被激活只需要发送一个任务请求就能随便高度互联分配到不同服务器上面的专家模块，这一点就很好证实了此前硅基流动上线基于昇**超节点的DeepSeek-R1能比肩H100的印证，他们能够在昇腾平台下做到媲美H100的单卡推理速度。靠的就是CloudMatrix 384超节点的灵活调动能力和超低延迟的高带宽互联架构支持。加上所有的设备能共享一套统一的高速协议，让MoE这种按需调度、轻量激活的运行方式才能真正的发挥最大的实力。总结CloudMatrix 384凭借其异构计算架构与全栈优化能力，重新定义了高密度算力部署标准。随着大模型与元宇宙应用的爆发，此类服务器将成为智算中心的核心组件。未来，随着量子计算与光互联技术的发展，新一代产品或进一步突破单机算力极限，推动AI与科学计算迈向新高度。
页:
[1]
