统一总线 UB 华为对 Nvidia 城河技术 NVlink，IB，RoCE 的回应

hdy

统一总线 UB 华为对 Nvidia 城河技术 NVlink，IB，RoCE 的回应

最近 2025，04，华为发了一篇重量级论文，详细讲了他们的下一代的总线方案 UB （Unifed-Bus）， 对应的NVidia 解决方案就是 NVlink, IB(Infiniedband), RoCE 这些。 Nvidia 正是基于这些技术搭建的 AI 训练超算平台。 华为 UB 就是华为对应的解决方案。

Nvidia 的 AI 训练超算集群

Nvidia 的方案是大概是这样的，在一个节点上（服务器）插上 GPU（8块）， GPU 间用 NVLink 互相连接， 然后，节点间再用 NVSwitch 连接，多个节点构成一个机架（Rack）， 然后， 机架间再用InfiniBand 或者 ROCE 实现连接， 多个机架就构成了一个训练集群。

看被上面的名专有名字绕晕了， 理解起来其实很简单： 上网的各种连接的作用就是给每一个 GPU 一个IP 地址， 这样就有可能写一套软件来管理这些 GPU，这套软件的作用就是把多个 GPU 抽象成一个 GPU，负责的功能就是分发计算任务，聚合计算结果。

华为的方案 AI 训练超算集群

可以看到 Nvidia 的方案涉及到了我个厂家的多种方案有多种协议， 因为这些技术慢慢发展出来的， 很多技术还不是 Nvidia 自家的。 不过去年（2024） Nvidia 收购了 Mellanox (IB母公司)，现在 Nvidia 对其他公司也没有依赖了， 不过协议还有很多。

华为的集群搭建方案基于他们自己的协议叫 UB （Unified Bus）。 这个协议从 CPU 与 NPU （神经处理器，理解成 GPU 就行） ， NPU 与 NPU， 节点间， 机架间，...甚至可以跨到整个数据中心, 全部可以用，他们叫 nD-FullMesh。 统一的协议直接没有了协议转换的成本，整体的架构也非常工整优美， 这是 UB 的优势之一。

UB 的另外一个优势是，支持同一机柜（Rack）内的 NPU 点对点通信，这部分 Nvidia 的解决方案是用 NvSwitch， UB 架构 Rack 内也有 Switch 叫: LRS, 不过这个 LRS 并不负责主力的数据交换任务，而是服务于其他功能（CPU与NPU，池化相关，外部通信） 。 NV 的方案其实也可以，不过，UB 的方案更经济，更有去中心化优势， 他们的做法是： 一个板上的 NPU 除了两两互联外， 相同位置的不同层间的 NPU 还有连接， 当需要跨层通信，可以借道中间板子，直接连接。 之所以能这么搞是因为， 每个 NPU 是有一个叫 UB-IO 的东西。可以起到路由的作用。 数据在 UB-IO 间通过 PCB 板用普通无源铜缆直接交互就省去了大量高基数交换机（NVswitch），长距离光缆和昂贵的光模块大量成本。

事实上 UB 协议就是借助 UB-IO 有路由功能小芯片实现的， 这个有路由功能小芯片，在 NPU， CPU， LRS（柜内交换机）， HRS（柜间交换机）都有。

为什么要这么架构

上面的架构看起来挺合理的， 论文上说这个架构是出于训练大模型的需要。他们统计了MoE 架构的大模型的数据传输情况。 见下图：

他们发现大模型的训练的绝大部分， TP（张量并行）， SP（序列并行）占了 97% 以上， 这两部分就是训练注意力计算，前向推理有关。 而 DP 数据并行，传输量极少， 数据并行就可以跨机柜。 不严谨的简化理解就是： 在训练模型的时候可以把数据分成几个学科，在每一个机柜跑一个完整的大模型，不同的机柜学习不同学科，最后，把学习的成果合并成一个大模型， 就学会了，所有学科。 我们在数据分学科时就是DP 数据并行， 然后，模型在一个机柜内训练就是其他并行，这部分数据交互特别大，没关系，上面我们让同一机机柜间的 NPU 两两互连了，不就正好用上了吗。

CloudMatrix 384

基于 UB 协议的早期实践已经有了，那就是 CloudMatrix 384 据说达到了已经达到了 Nvidia GB200 NVL 72 的水平， 最近 （2025，4）， 还在国外半导体行业引发的不小的震动。

后记

虽说，论文上在强调 AI 训练，当前最大的 应用也是 AI 训练， 但是，能看出 UB 的野心可能远不止于此。 这从他们的 PPT 上的口号也能感觉出来： 一切可池化、一切皆对等、一切可组合。