猫叔 傅里叶的猫
关于英伟达的Vera Rubin和Rubin Ultra的很多进展,网上讨论很多,SemiAnalysis也写过很多段子,讲了NV会降配CPU的DRAM和HBM,但总归都不是一个全面的描述,正好昨天Aletheia发布了一个关于英伟达Rubin和Rubin Ultra的报告,详细介绍了这两个平台的近况。有很多其他机构都没有给的信息。
Rubin Strata模块已经在7月底进入商业生产,但Vera CPU和Rubin GPU仍在继续流片优化(这两个并不矛盾,量产后仍在持续优化)。Rubin Ultra则还没有定型,GPU预计在2026年第四季度流片,机架系统的具体落地时间还要往后看。
从目前披露的架构变化看,Rubin Ultra不只是把GPU做得更大、功耗拉得更高。英伟达正在重新安排计算、显存、网络和存储之间的关系:计算机架负责算力,交换机负责连接,存储机架负责保存和调度越来越大的KV Cache,几部分组合起来,形成一个更大的AI系统。
Rubin Strata先落地,Ultra继续调整
目前的Vera Rubin有两个功耗版本。
标准版本的功耗约为1800W,FP4推理性能可能在40PF或更低;增强版本的峰值功耗则可能达到2300W,对应约50PF的FP4推理性能。增强版预计在2026年第四季度供应。
Rubin Ultra的双GPU版本,峰值功耗预计约2600W。英伟达在GTC 2026上曾介绍,搭载1TB HBM4E的四GPU Rubin Ultra,FP4推理性能可达到100PF,约为Rubin的两倍。
但双GPU版本的具体性能还没有公布,四GPU版本也仍然面临封装和系统设计难题。
Rubin Ultra的双GPU模块预计采用两个GPU tile和两个I/O die,工艺仍然是台积电N3P,但GPU die和I/O die都会重新设计。由于HBM4E堆栈尺寸更大,Rubin Ultra的光罩尺寸也可能从Rubin的约5倍提升到5.5倍以上。
四GPU版本不是简单地把四块GPU放进同一个CoWoS封装。现有封装尺寸很难容纳四个GPU tile和16组HBM,英伟达可能先完成两个双GPU模块的CoWoS封装,再由OSAT通过ABF基板和硅桥完成“拼接”。
这个方案技术上更复杂,成本也更高。Kyber机架虽然仍在路线图中,但量产时间存在延后可能,并不是市场传言的夭折了。多机架Oberon方案,可能先被用来满足市场需求。
HBM容量和带宽,开始分开考虑
Rubin Ultra目前被讨论的HBM方案包括192GB HBM4、256GB HBM4E和384GB HBM4E。
192GB HBM4的容量比Rubin使用的288GB HBM4少三分之一,速度和带宽也没有提升,采用它的可能性相对较低。256GB HBM4E的容量少一些,但速度和带宽可以提高约30%-40%。384GB HBM4E容量更大,但成本也会明显增加。
训练大模型时,带宽更加关键。模型参数需要不断在显存和GPU之间移动,带宽不够,GPU就会等待数据。HBM4E在14Gbps速度下,单堆栈带宽约为3.58TB/s;如果速度提高到16Gbps,单堆栈带宽有机会达到4.1TB/s。
推理场景不完全一样。
长上下文Agent需要同时保存模型、对话记录、工具调用状态以及多个推理过程。一个700亿参数模型处理100万token上下文,仅加载模型就需要约140GB显存,保存对话历史还要再占用约130GB。
在这种场景下,带宽低一点,可能只是生成速度慢一些;容量不够,任务可能直接无法运行。
这也是英伟达开始把KV Cache从GPU显存中分离出来的原因。此前的Rubin CPX方案暂时放缓(后来NV就没有再提过CPX了),但CMX,也就是Context Memory Storage,继续沿着存储池化方向推进。
CMX由BlueField 4 STX存储机架支持,通过Spectrum-X交换机连接NVL72计算机架,把KV Cache在计算机架和存储机架之间高速搬运,减少CPU、SoCAAM和HBM的占用。
相关存储机架可以配置最高约1.2PB的高速eSSD。相比HBM和服务器DRAM,专用高速eSSD的成本低得多,更适合存放需要频繁调用、但不必一直留在GPU显存里的上下文数据。
一台机架不够,就拆成多台
NVL72把计算、网络和存储集中在一台机架里。Rubin Ultra可能采用双机架、四机架甚至八机架的组合。(可能并不只有Semianalysis说的八机架版本)
按材料中的系统测算: - 双机架可配置144个Rubin Ultra GPU模块;
- 四机架可配置288个;
- 八机架可配置576个。
这里的GPU模块不是单独的GPU die。按表格口径,八机架对应的是1152个GPU dies/tiles。
多机架架构带来的提升,不只有GPU数量。
双机架系统的总带宽约为4.1PB/s,四机架约为8.2PB/s,八机架约为16.4PB/s。Kyber单一机架的系统带宽约为4.6PB/s,现有VR200 NVL72约为1.58PB/s。
训练超大模型时,多机架可以提供更高的总带宽;运行长上下文Agent时,可以单独增加存储机架,把KV Cache放到高速eSSD里。计算、交换和存储不再被固定在一台机器内部,客户可以根据不同工作负载自由组合。
英伟达在GTC 2026展示过代号为Polyphe的GB200多机架scale-up系统,由8个计算机架组成。类似的方案,可能在2027年下半年和Rubin Ultra一起落地。Kyber则可能在更晚的时间推出。
性能更高,价格也会更高
Rubin Ultra的系统升级,会直接推高成本。
材料中的估算显示,双GPU Rubin Ultra Strata模块的BOM成本约为42162美元,四GPU版本约为86850美元;Rubin在2026年下半年的BOM约为27536美元。
如果英伟达维持75%-80%的毛利率,双GPU Rubin Ultra的ASP可能接近17万美元,约比Rubin Strata的13万美元高出30%。
成本增加主要来自内存。Rubin Ultra中,HBM和SoCAAM合计可能占到约70%的BOM,高于Rubin Strata的60%多,也明显高于GB300。
客户是否接受这次涨价,要看系统能不能把单位token成本降下来。
GB300上一代产品涨价时,FP4性能提升了约50%-60%,价格上涨比较容易被性能增量覆盖。Rubin Ultra双GPU版本还没有公布完整的FP4性能,仅凭更大的系统、更高的带宽和更多的存储,并不能自动证明17万美元的价格合理。
如果多机架系统能够同时带来更高算力、更大带宽和更低单位token成本,客户有理由继续增加资本开支。否则,大型云厂商可能会加快自研ASIC,新兴云服务商则需要寻找更多外部资金。
这也是Rubin Ultra后续最需要观察的地方。
它的影响范围已经超出GPU本身。HBM4E、SoCAAM、先进封装、ABF载板、高速交换机、DPU、光互联和高速eSSD,都会被纳入同一个系统工程。
但目前很多参数仍然处于变化中:HBM最终容量、双GPU版本性能、Kyber机架形态,以及多机架系统的商业化时间,都还没有完全确定。
Rubin Ultra最终能否成为下一代主流平台,不只取决于芯片性能,还取决于客户是否愿意承担更高的系统成本,以及这些额外的计算、网络和存储投入,能否换来更低的token成本。
|