国外大规模智算集群发展10大趋势

hardywang

超大规模智算系统在向更大规模、更高能效、更通用化发展的过程中，仍面临着内存墙、通信墙、能耗与散热、生态壁垒等挑战，为了应对这些挑战，本文斗胆对超大规模智算集群体系结构发展趋势作出初步判断。

趋势 1: 体系结构上可借鉴人类智能“小算力+大网络”结构

数据传输的问题本质是“计算”与“存储”分离架构导致的。计算单元与存储单元相互独立，数据需要通过总线频繁在二者之间传输，不仅产生了巨大能耗，还带来显著延迟，难以适配大模型对高带宽、低延迟的需求。为破解这一瓶颈，近存计算、存算一体等新型架构应运而生，IBM NorthPole 芯片是该方向的一种探索。该芯片通过近存计算架构，将计算单元与存储单元深度融合，在 30 亿参数的小规模推理场景中，实现了比最节能 GPU速度快 47 倍、能效高 73 倍的性能表现。

趋势 2：CPU+多样化加速部件是大规模智算逻辑结点的主流结构

异构融合计算为解决通用 CPU 并行算力不足的痛点，发展出多种形态加速部件，如英特尔早期的Phi、英伟达 GPU 等，以及基于 FPGA 的可重构计算部件，提升了算力密度与能效比。国防科技大学研制的天河超算系统是重要里程碑，创新 CPU+GPU 超算异构混合架构，先后 6 次荣登全球超级计算机 TOP500 榜单，证明了异构计算在算力规模化的核心价值。

趋势 3：智能加速芯片体系结构将迎来百花齐放的定制化时代

以国外 AI 定制芯片为例，主要有 10 个系列，包括：

1）英伟达 Vera Rubin GPU，Rubin 架构目前是行业标杆；

2）Cerebras WSE-3，采用整块晶圆芯片设计，拥有 4 万亿晶体管和 44 GB SRAM，带宽达 21 PB/s，颠覆了传统的芯片设计理念；

3）AMD MI455X， 搭 配Helios 平台，拥有 432 GB HBM4，海量内存为大模型计算提供了有力支撑；

4）英伟达 LP30，联手 Groq 采用纯 SRAM 架构，基于三星 4 nm 工艺，推理性能实现 35 倍提升；

5）谷歌 TPUv7（Ironwood），作为第 7 代TPU（张量处理单元），搭载 192 GB HBM 单芯，带宽达 7.37 TB/s，成为 Google Gemini 大模型的计算底座；

6）亚马逊 Trainium3，基于台积电 N3P 工艺，为 AWS云平台的智能训练提供专用算力；

7）微软 Maia 200，采用 18A 先进工艺，搭载 288 GB HBM4，成为 Azure云平台的核心智算芯片；

8）Meta MTIA v3，针对推荐算法优化，大幅降低运营成本；

9）高通 AI250，以手机等市场为重点，主打低功耗，适配边缘智能计算场景；

10）英特尔 Jaguar，丰富了智算芯片的生态。

多样化AI 定制芯片，针对不同的智能计算场景实现了优化，形成了“各有所长、互补发展”的格局。

趋势 4：通过混合精度与 Prefill 和 Decode 两阶段分离，突破能力和延迟的双重约束

1）优化芯片资源分配。一是增加计算核心数量，GPU 的计算核心数量可达数千甚至上万个 ， 远 超CPU 的数十个核心，能够同时执行大量的并行计算任务，大幅提升数据密集型任务的处理效率；二是优化存储层次，减少非计算资源占用。

2）设计专门针对矩阵运算的硬件单元。AI 计算的核心是矩阵运算，包括矩阵乘法、卷积运算等，这些任务占据了智能训练与推理的绝大部分计算量。因此，创新计算部件结构的核心思路是设计专门针对矩阵运算的硬件单元，实现核心任务的硬件加速，大幅提升计算效率。

3）探索混合精度。传统的科学计算以 64 位浮点（FP64）为主，追求计算准确性。但智能计算任务对精度要求相对灵活。许多 AI 任务即使在较低精度下仍能接受。芯片厂商纷纷推出对低精度计算的硬件支持，从 16 位浮点（FP16）、 8 位整数（INT8），到 8 位浮点（FP8）、4 位浮点（FP4）等。

传统的推理方案采用单一 GPU 处理 Prefill 以及Decode 两个阶段，导致资源浪费。体系结构专家 Patterson 提出了以 HB Flash（高带宽闪存） 为代表的存储优化思路]。该思路通过在传统的存储层级中新增 HB  Flash 层 ， 构 建 “片 上SRAM—HBM（高带宽内存）—HB Flash—DDR5（标准内存）—SSD/NVMe”的分层存储体系，明确了各存储层级的功能定位。片上 SRAM 用于存储热键值缓存，实现高速访问；HBM 用于存储模型权重和部分热键值缓存；HB Flash 作为新增层级，用于存储海量的冷键值缓存，提供 TB 级别的存储容量和远高于 DDR5的带宽；DDR5 和 SSD/NVMe 则用于存储模型数据和超大规模的缓存数据。

趋势 5：探索和创新面向 AI 的新型计算结构

Tenstorrent 公司的计算结点以 Tensix 核心为基本计算单元（Core），采用高度集成的设计，融合了计算、存储、通信等多种功能，成为一个紧凑的智能计算单元。

Tensix 的创新主要有 2 方面：一是 Core 原生支持分块矩阵运算，支持 32×32 分块的矩阵运算，能够高效执行智能计算的核心任务，提升计算效率；二是计算与通信的深度融合，Core 内部集成片上网络接口，实现 Core 间的无阻塞高速互联，减少数据交互延迟，符合计算结点内多核心协同的需求。

趋势 6：大规模智算集群催生多样化的网络定制方案

大规模智能计算对网络的高带宽、大规模、高可靠需求催生了多样化的网络解决方案。包括谷歌TPU G-ICI、AWS Neuron Link]、英伟达 NVLink、华为 Cloud Matrix 384、xAI 的 PCIe 互联与 Spectrum-X 以太网结合等。

多样化的网络解决方案背后是不同的设计思路：

一是静态定制优化，以 Google TPU 为代表，通过构建私有协议、物理隔离的光交换网络，实现静态场景下的高带宽与低延迟，适配大规模、高稳定的大模型训练需求；

二是英伟达采用了极高带宽的思路，通过NVLink 实现结点内的高速互联，通过 InfiniBand/RoCE实现结点间的规模化组网，依托先进芯片工艺，提供无阻塞带宽，成为当前智算集群网络的主流选择；

三是基于通用以太网协议，灵活优化和扩展。以 AWSTrainium 为代表，通过多路径、重传机制解决网络拥塞问题，适配多样化、动态化的智能计算需求。

趋势 7：结点互联成为核心竞争点，网络带宽实现跨越式提升

伴随智能计算的发展，结点互联成为超大规模智算集群的核心竞争点，其核心变革在于通信连接点的深度下沉与网络带宽的跨越式提升，实现了“计算部件间带宽>总线带宽”的突破，解决了传统总线的通信瓶颈。

英伟达NVLink 技术持续迭代，NVLink4.0采用四电平脉冲幅度调制技术（PAM4），双向带宽提升至 900 GB/s，成为当前结点内高速互联的代表性技术。NVLink5 已经用于 DGX 300 NVL72，NVLink6已发布技术规格。

除了英伟达的 NVLink，其他企业也纷纷推出自研的专用高速互联技术，例如谷歌的 G-ICI、亚马逊的 Neuron Link、华为的灵衢网络等，这些技术针对智能计算的通信需求进行定制化优化，实现了计算部件间的高速、低延迟通信，成为超大规模智算集群的核心技术支撑。

趋势 8：充分发挥光传输交换优势，提高全系统稳定性和能效比

电传输技术受限于传输损耗、延迟等问题，难以满足万卡级以上集群的稳定性、高带宽需求，这使得光传输技术成为重要选项。

光传输技术聚焦于近封装光模块（NPO）和共封装光模块（CPO）的竞争，

NPO 是指光引擎位于紧邻 ASIC（专用集成电路）的独立载板上，与 ASIC 间的物理距离小于 5 cm，光引擎围绕 ASIC 排列，通过短距离的电信号实现与ASIC 的通信。CPO 是光传输技术的发展方向，光引擎与 ASIC共享同一个封装基板，二者的物理距离一般小于1 cm，实现了彻底的融合，不可物理拆分。

CPO 的优势在于传输损耗小、能效比高，光引擎与 ASIC 的“零距离”融合，消除了电信号传输损耗和信号完整性差等，提升了通信带宽与速度，显著降低了功耗。

CPO 通过将光引擎与 ASIC 集成在同一个封装基板上，减少了设备的体积，适合智算集群高密度组网的需求。尽管 CPO 拥有显著的性能优势，但目前仍面临工艺复杂、成本较高、兼容性差等问题。

趋势 9：人才培养是智算生态竞争的核心要素

从行业发展的经验来看， 2010 年 前 后 IBM 的NPSG 系列网络处理器也面临与目前 AI 定制芯片类似问题，性能发挥高度依赖底层技术的优化。要解决问题，核心途径就是加强人才培养。

超大规模智算集群的生态构建，首先需要加强计算机硬件、编译原理、芯片设计、高速互联等领域的人才培养，通过高校专业设置、企业人才培养、产学研协同等多种方式，培育一支庞大的底层技术人才队伍，为生态构建奠定人才基础。

趋势 10：时间积累与市场验证是生态构建的关键路径

总体而言，超大规模智算集群不仅是结点技术与网络技术的创新，更是技术生态与智能体系的重构。马斯克于 2026 年 5 月宣布将 xAI 旗下 22 万张算力卡全部转租给 Anthropic 公司，从而盘活资产，调整 AI 布局，可见 AI 底座大模型生态竞争程度之激烈。2026年 6 月 24 日，OpenAI 宣布首颗定制芯片 Jalapeño 已经部署，Anthropic 宣布计划为 Claude 打造专用芯片。大模型公司开始研制计算结点芯片，将进一步加剧该领域的竞争。