核心观察:谷歌 TPU 互联拓扑的变化,重点不只是从 3D 走向 6D,而是把训练与推理对互联网络的不同要求拆开处理:训练更看重总通量和二分带宽,推理更在意延迟与跳数。拓扑升级能提高连接效率,但端口数量、光模块、OCS、铜缆和系统成本必须同时算账。
核心要点:在 4096 颗芯片规模下,3D torus 的最远跳数约为 24 跳,6D torus 通过将单芯片连接从 6 个提升到 12 个,理论上可将最远跳数降至约 12 跳并提高二分带宽。与此同时,3D 结构的单芯片光模块配比会随 cube 单元扩大而下降,6D 是否带来更高光链路价值量,仍取决于实际布线、OCS 和成本方案。
01|从2D到3D:谷歌TPU先解决大规模芯片互联
谷歌 TPU 的互联拓扑经历了从早期 2D torus 到 V4、V5 时代 3D torus 的演进。3D 基础单元可以理解为 4×4×4 的立方体,共 64 颗芯片,每颗芯片与六个邻居连接,边缘链路通过环回方式接回另一侧。借助 OCS,系统还可以扩展到数千乃至 9000 多颗芯片规模。
这种结构的关键是让芯片之间存在多条路径,而不是依赖单一的点到点连接。内部链路可以采用 PCB 和 DAC/铜缆,立方体外表面的链路再使用光模块。这样既能控制成本,又能在集群扩大时保留可扩展的互联能力。与光互联产业链的代际演进结合观察,可参考 高速光模块交付验证。
02|6D torus的核心变化:端口翻倍,最远跳数减半
在 3D torus 中,4096 颗芯片可以按 16×16×16 组织,每颗芯片有六个方向的 SerDes 连接,最远通信距离约为 24 跳。6D torus 的思路是增加三个新的数学维度,使单芯片连接从六个增加到十二个;在 4096 颗芯片规模下,每一维可以按 4 颗芯片理解,最远跳数理论上降到约 12 跳。
跳数减少并不是唯一收益。二分带宽也会随连接维度增加而提升,因此 6D 更适合解决大规模训练中的总通量问题,同时对推理侧的延迟也有帮助。但端口翻倍会带来布线、封装、光电转换和系统验证难度,不能只把“24 跳变 12 跳”直接换算成确定的商业价值。
关于 AI 互联架构和光互联路线的行业背景,可结合 AI 光互联产业观察 一文回看。
03|训练与推理分轨:Boardfly解决延迟,torus保总通量
训练和推理对网络的要求并不相同。训练需要在大量芯片之间交换数据,更看重总通量,也就是二分带宽;推理则更容易受到单次请求延迟和跳数影响。因而,训练侧可以继续沿用 3D torus 并向 6D 扩展,推理侧则可能采用类似 Boardfly 或 Dragonfly 的重点节点直连,让关键节点之间形成“高速主干道”。
这种双轨并不意味着某一种拓扑绝对优于另一种。全互联方案的延迟和路径确定性更好,但成本明显更高;环面方案牺牲部分固定低延迟,换取更低的系统成本和更大的部署弹性。最终选择取决于模型负载、芯片赚钱能力、网络预算和客户能够承担的互联成本。
04|光模块配比不是固定常数:立方体越大,比例越低
在 4×4×4 的 64 芯片立方体中,内部芯片更多使用 PCB 和铜缆,外部六个面暴露出的链路使用光模块。六个面各有 16 个外部光口,总计 96 个光模块,对应 64 颗芯片,得到约 1.5:1 的单芯片光模块配比。
如果把单元扩大为 5×5×5,六个面合计约 150 个光口,对应 125 颗芯片,比例降到约 1.2:1。这说明在 3D torus 中,cube 单元越大,内部铜互联占比越高,单芯片光模块数量反而越低。若未来 6D 方案提高对外连接端口,光链路占比是否回升,还要看哪些链路最终采用光、铜、PCB 或 OCS。
05|OCS与光入柜:性能提升必须通过成本验证
OCS 的价值在于可编程地调度光路:当某条链路故障或流量结构变化时,系统可以重新规划路径,绕开故障点,而固定铜缆布线无法做到动态切换。对大规模集群而言,这种灵活性可能降低维护和故障恢复压力,但 OCS 本身也会带来设备、控制和部署成本。
光入柜同样不是单向替代。铜缆成本更低,光互联在距离、调度灵活性和带宽扩展上更有优势;是否增加光模块,要看训练与推理业务带来的收益能否覆盖系统开销。站内的 光通信上游器件验证 可作为相关供应链背景参考。
因此,跟踪 TPU 6D、Boardfly、OCS 和光模块需求时,真正需要验证的是产品规格、客户部署、链路配比、供应商认证和单位算力成本,而不是仅凭拓扑名称判断产业增量。有关 AI 产业链文章可继续浏览 大A产业链专题入口。