谷歌TPU V7/V8架构与技术调研纪要

无聊小北

梦想的第四维

请详细拆解一下谷歌TPUv7方案的机柜架构，包括64颗芯片的具体分布方式，以及除了计算单元外，交换机、CPU等部分对PCB的使用情况？

谷歌TPUv7方案的机柜架构包含64颗芯片，分布在16台服务器中，每台服务器由一块搭载4颗TPU芯片的ASIC主板和一块CPU主板构成。这两块主板是分开的，通过后端线缆连接，共同组成一台完整的服务器。从物理层面看，一个机柜内共包含32块主板，即16块TPU计算板和16块CPU板。这种架构并非采用英伟达类似的tray形态，而是以盒式交换机的形态存在。

在谷歌TPUv7的服务器架构中，TPU计算板和CPU板各自的PCB规格、层数、材质及单板价值量分别是多少？

TPU计算板采用M8.5材料，为54层的高层板，未使用HDI工艺，单板价值量约在2,300至2,500美元之间。CPU板同样采用M8材料，板材层数在25至32层之间，单板价值量约为1,500美元。CPU板采用Arm架构，每块板搭载2至4颗CPU。因此，一个机柜中PCB的总价值量即为16块计算板与16块CPU板的价值量之和。

谷歌TPUv7方案中，服务器机柜内的连接方式是怎样的，交换机是如何配置的？

在机柜内部，各服务器主板之间目前主要通过AEC线缆连接，计划从2026年开始切换为AOC。机柜外部的连接，即跨柜连接，则使用OCS。每个机柜会配备两台800G的顶置（Top-of-Rack）交换机，即每64颗TPU对应2台800G交换机。具体配置为，16台服务器对应2台拥有128个800G端口的交换机，每台服务器通过6个端口上联至交换机，共占用96个光口。剩余的32个光口则用于跨柜连接，主要实现跨Pod的通信。在单个Pod内部，所有服务器池的连接均通过OCS或电源线缆完成，不依赖以太网交换机。

从系统架构角度看，OCS在谷歌TPUv7方案中主要用于Scale-up还是Scale-out？

OCS主要用于一个Pod内部的跨柜连接。从逻辑层面来看，由于所有OCS均部署在单一Pod内部，其作用是提升整个Pod的综合性能，这属于Scale-up的范畴。然而，如果从物理机柜的视角来看，因为它实现了机柜之间的互联，也可以被视为一种Scale-out。因此，其界定取决于分析的角度，跨Pod的连接才被明确定义为Scale-out。

谷歌TPUv7方案中使用的800G交换机，其内部PCB的规格和价值量是怎样的？未来升级到1.6T交换机后，PCB规格预计会有何变化？

当前使用的800G交换机内部仅包含一块主板，其尺寸与TPU计算板相近。该主板的PCB层数约为38层，单价价值量在1,500至1,800美元之间。未来若升级至1.6T交换机，其PCB层数预计将增加至50层左右。

V8系列TPU所使用的主板技术方案具体是怎样的，V8P和V8E在PCB和CCL等级上有何差异？

V8P将采用HDI技术，并使用M8.5等级的CCL材料。V8E的功耗设计低于V7P，因此在能耗和散热方面的要求不高，不会使用HDI，其CCL等级为M8。目前EVP（工程验证与原型）阶段的样本是基于此方案制作的，除非后续出现问题，否则该方案将得以延续。高层板技术本身没有问题，主要是一个性价比的考量。

为什么在同一款TPUV8P上，会同时存在高层板和HDI两种PCB技术方案，而不是像英伟达那样直接确定一种技术路线？

这主要是由于Google作为设备使用者和英伟达作为设备供应商的角色差异所致。英伟达销售的是单机设备，只需确保单台设备或小规模集群（如NVL72H中的36或72块板）的性能和品控，而Google部署的是大规模集群，一个POD就包含大量主板（例如174乘以16块），这些主板在逻辑上被视为一个整体。因此，Google不仅要考虑单机性能，更要关注上千甚至上百机柜规模下，整个集群的运营成本、稳定性及散热等综合因素。采用两种方案并行是一种稳步替换的过渡策略。Google会通过在1,000、2000、5000柜等不同规模的集群上进行实践验证，确保新技术在集群效应下没有问题后，才会进行大规模推广。这种方式既能为下一代技术的大规模应用进行实验性部署，也能在当前兼顾技术需求、成本和良率等，找到一个平衡点。