马上注册,结交更多好友,享用更多功能,让你轻松玩转社区
您需要 登录 才可以下载或查看,没有账号?立即注册
×
对NVIDIA的战略建议 过去几年,NVIDIA管理层内部始终将华为视为最具竞争力的潜在对手。然而随着AMD的快速进步与紧迫感提升,我们认为NVIDIA应将AMD视为主要竞争者。若想保持市场领导地位,我们向黄仁勋提出以下建议: 1.加速扩展API接口覆盖面 通过快速增加实用新功能扩大CUDA生态壁垒。例如近期CUDA Python堆栈的更新,通过大量新API接口的引入显著拉开与ROCm的兼容性差距。 2.开放消费级GPU的CI/CD支持 当前NVIDIA消费级GPU的最终用户许可协议(EULA)阻碍了PyTorch等主流ML库在其CI/CD中集成测试,导致开发者体验受损。建议探索解决方案,使消费级GPU能纳入PyTorch CI/CD体系。 3.深度集成用户缓冲注册功能 尽管NCCL用户缓冲注册技术可降低内存压力(带来5-10%性能提升),但目前仅支持底层PyTorch API。需在DistributedDataParallel(DDP)、DTensors、FullySharedDataParallel(FSDP)等常用接口中全面集成该功能。 4.优化开箱即用体验 虽然NVIDIA的初始体验优于AMD,但仍存改进空间。例如RMSNorm(当前SOTA大语言模型的核心层)需依赖apex库而非原生PyTorch支持。建议与Meta PyTorch团队合作,将高速RMSNorm内核等cuDNN优化直接集成至PyTorch。 5.增强PyTorch CI资源配置 为TorchInductor基准测试CI增加H100资源支持。AMD已在该测试中启用MI300,NVIDIA需跟进以保持技术领导形象。 6.提升基准测试可复现性 AMD通过详尽的MLPerf复现指南赢得社区信任。建议NVIDIA在发布基准数据时同步提供可复现操作指南与技术解读博客,增强结果可信度。 7.践行开源精神 改进NCCL、CUTLASS等库的代码管理方式(目前多为版本代码转储),借鉴trt-llm项目的"Github优先"策略,真正拥抱开源协作文化。 8.规范技术指标披露 停止宣传Jensen Math 2:4稀疏FLOPs等营销概念,统一双向带宽计算标准以减少生态混乱。建议发布反映真实输入分布(而非理想化[-4,4]离散整数分布)的FLOP/s指标。 9.定向吸纳AMD核心人才 通过Github贡献者列表及"[ROCm]"PR标签,重点招募参与RCCL、ComposableKernels、hipBLASLt等库开发的AMD工程师。 MI325X与MI355X的市场反响 正如我们持续一年的观察,客户对MI325X兴趣低迷。该产品定位H200竞品,但其在2025年Q2启动发货(晚于H200三个季度且与Blackwell量产同期),性价比劣势导致出货量惨淡。 尽管通过加速器模型监测到微软在2024年初的失望情绪及后续订单缺失,但AMD正与OpenAI(通过Oracle)等大客户重启谈判——前提是达成优惠定价。需明确的是,MI355X因仅支持8 GPU规模(对比NVIDIA GB200 NVL72的72 GPU规模),仍无法在尖端推理场景与NVIDIA旗舰方案竞争。AMD将MI355X卖点聚焦于无需液冷(DLC)的设计,但尴尬的是该产品实际对标的是NVIDIA上代经济型方案(风冷HGX B200 NVL8/B300 NVL16)。 尽管如此,MI355X在中小型模型场景(无需大规模扩展)可能凭借TCO优势获得一定市场份额。但对于依赖大规模解耦部署或MoE架构的前沿推理任务,GB200 NVL72仍将主导性能与能效比。 下文将深入解析MI355X、MI420X、MI450X架构,以及UALink、以太网Infinity Fabric等技术路线与定价策略。 MI355X微架构(CDNA4)技术解析 基于SemiAnalysis推测,MI355X(CDNA4)将采用Hopper SM90风格的微架构,集成线程块集群(Thread Block cluster)、张量内存加速器(TMA)、TMA多播、wgmma指令及异步数据传输/计算单元。其TMA等效模块或命名为ROCm内存加速器(RMA),虽相比CDNA3提升数据传输效率,但每比特/每FLOP的功耗(picoJoules)仍高于Blackwell SM100架构——主因缺失张量内存、双CTA矩阵乘法单元及优化的线程块集群规模。
与MI300X/MI325X类似,MI355X仍在AI无用的FP64核心上浪费大量晶圆面积。AMD受传统HPC市场(依赖FP64)历史成功拖累,未能及时调整策略。反观NVIDIA在Blackwell中将FP64张量核削减50%,通过INT8张量核软件模拟实现相近FP64性能,腾出资源强化MX4等AI实验室青睐的格式支持。下表显示B200通过cuBLAS FP64模拟仍实现优于H200的TFLOP提升:
我们推测NVIDIA未来或将完全移除FP64张量核,全面转向软件模拟方案。 MI400系列的灵活IO架构 AMD从MI300的Infinity Fabric(性能显著落后NVLink)教训中汲取经验,同时意识到缺乏开发NVSwitch级硬件的技术储备。为避免生态垄断质疑,其选择"霰弹枪"策略——通过144个可编程IO通道支持多重标准:PCIe 6.0、64Gbps Infinity Fabric、128Gbps UALink、128Gbps xGMI 4(UALink超集)、212Gbps以太网Infinity Fabric。 这种设计赋予系统构建极高灵活性:支持UALink扩展、以太网组网、直连SSD/NIC,乃至Infinity Fabric直连拓扑。AMD正评估从基于UALink的Torus架构到256 GPU以太网集群等多种方案,但量产尚需一年以上,客户仍在评估选项。 然而,多重IO标准的硬件实现充满挑战。AMD需设计兼容所有协议的SerDes与数据路径,这既是工程创新的机遇,也伴随巨大技术风险。
|