AI算力拓扑从3D走向6D:光模块用量、带宽收益与落地成本怎么算

核心观察:AI 算力拓扑从 3D 走向 6D,并不是简单增加链路数量,而是在推理延迟、训练带宽、机架内布线和光模块成本之间重新做系统级权衡。6D 的理论收益清晰,但能否落地取决于光互联降本与 AI 应用商业回报是否同时达到临界点。

核心要点:在卡数保持四千多张不变的示例中,6D 可将对分带宽理论上提高至 3D 的四倍、将最远网络跳数减半,但单芯片光端口可能从 3D 的约 1.5 个提高到 4—5 个甚至更高;SerDes、OCS、机架内铜缆或光模块的配置,将决定这笔性能与成本交易能否成立。

01|从 4×4×4 立方体看懂 3D 算力拓扑

当前主流的 3D torus 可以先用一个 4×4×4、共 64 张卡的立方体理解。一个完整算力集群通常包含四千多张卡,本质上是把这个基础立方体在横向、纵向和立向不断延展。机架内部的链路主要使用 PCB 走线、DAC 高速线缆或其他铜介质,机架之间因为距离和调度要求,通常使用光模块或 OCS。

判断拓扑性能时有三个容易混淆的术语。维度代表拓扑方向,度是每个方向上链路数量的总和;直径指最差情况下数据从一个节点到另一个节点需要经过的跳数,直接影响延迟;对分带宽则是把拓扑从中间切开后,切面上所有链路的总带宽。推理业务更敏感于直径,因为多个专家模型被调度到不同节点时,最长路径会直接抬高响应延迟;训练业务则更依赖对分带宽,因为梯度同步会产生大规模通信。

在 4×4×4 立方体中,六个面各有 16 条向外链路,总计 96 条光链路,对应 64 张卡,单卡光模块配比约为 96÷64=1.5。这个口径只计算单端,不需要把对端设备再次计入。与产业链代际演进相关的光互联背景,可结合 高速光模块交付验证 回看。

02|6D 的核心不是多一层概念,而是机架内先闭环

行业讨论的 6D torus 并不改变卡的总数,变化在于链路组织方式:单机架的 64 张卡先在内部完成首尾相连,形成局部闭合的 3D 环面,再把这些机架作为独立单元与其他机架连接。3D 架构中,机架内链路往往直接指向隔壁机架;6D 则把机架内部的自闭环新增出来,因此既保留全局跨机架链路,又增加局部环路。

这与富士通曾经的“3D 全局+3D 局部”豆腐架构有相似之处,但工程逻辑并不相同。富士通方案把 3×2、12 张卡的小立方体嵌套进更大的三维结构,软件和模型仍按三维拓扑编程,主要增加冗余;传言中的 6D 则是把机架内部连接完成后,再作为独立单位参与全局连接,属于嵌套与延展兼具的结构。

在 6D 中,每颗芯片从六个方向扩展到十二条链路。全局三维环面的六条跨机架链路必然使用光模块;机架内部折返链路则存在铜缆和光模块两种方案。若机架内采用铜缆,光模块端口约为 384 个/机架;若折返链路也采用光,单芯片光端口估算还会进一步提高。

这种拓扑对 OCS 的依赖也更强。跨机架使用光模块的关键并非只有传输距离,而是 OCS 能够进行动态拓扑重构:集群可以维持 4×4 配置,也可以切换到蜻蜓类拓扑并扩展到九千多张卡。铜缆布线更便宜但固定,光模块加 OCS 则换取了更细粒度的调度灵活性。关于 AI 光互联产业背景,可参见 AI 光互联产业观察

03|性能收益如何换算成光模块与 OCS 成本

对分带宽可以用 16×16×16 集群做直观比较。3D 结构切开一个维度后,截面为 16×16=256;6D 结构切开一个方向后,剩余五个维度对应 4^5=1024。因此理论上 6D 的对分带宽是 3D 的四倍,若采用双向口径还需再乘以 2。与此同时,示例中的最远跳数由 3D 的 24 跳降至 6D 的 12 跳,推理场景的延迟下限因此有改善空间。

性能收益并不是无成本的。3D 单卡光模块配比约为 1.5;6D 在机架内使用铜缆时,跨机架的六个全局维度已经需要更多光端口,叠加机架内互连后,单芯片平均光模块需求可按 4—5 个估算;若所有折返链路都走光,原文给出的光端口估算为 6—7.5 个。换言之,6D 是用数倍光模块及 OCS 成本,换取四倍对分带宽和约一半的网络直径。

真正的落地条件有两类:业务侧的训练与推理性能收益必须足以覆盖新增硬件成本,供应侧则需要光模块和光芯片持续降本。若光模块持续涨价,拓扑创新的经济性会恶化;若良率提升、产能扩张带来明显降价,拓扑结构和单卡光模块配比才可能出现跃迁。相关光通信上游器件验证可结合 光通信上游器件验证 交叉回看。

04|SerDes 是 6D 落地最硬的工程约束

6D 让一颗芯片需要从六组收发 SerDes 扩展到十二组。以现有一代硬件的双向总带宽 9.6TB/s 为例,如果总带宽不变并平均分到十二条链路,单链路带宽会减半,大报文传输性能可能下降;如果维持单链路带宽,就必须增加 SerDes 电路数量,芯片面积、引脚和功耗同步抬升。

芯片面积是硬约束,SerDes 电路占比提高后,会挤压矩阵运算 MXU 等计算单元的面积,形成互联和算力之间的零和博弈。因此,6D 并不是把拓扑图画出来就结束,还要等待芯片设计、封装、板级布线、光模块端口和 OCS 共同满足工程约束。

可跟踪的产业信号有三类。第一,观察博通 SerDes 配置是否从六通道升级到十二通道,这是较难隐藏的硬件信号;第二,跟踪 2027—2028 年谷歌光模块订单增长斜率,若配比由 1.5 跳升至 4—5,采购增速可能明显高于行业平均,但该信号会滞后于芯片方案定型;第三,观察谷歌机柜内部折返铜缆、特殊背板等传统 3D 架构并不需要的物料是否出现新增需求。

05|从产业算账看技术路线与需求兑现

这套架构能否推进,核心仍是一笔系统工程账。光模块单位成本下降、AI 应用商业变现增强,会同时提高拓扑改造的性价比;单纯依靠极高的业务 ROI 并不稳妥,因为大模型应用仍处在试错迭代阶段。互联的性能提升可能显著高于单纯增加 GPU 内部计算单元,但前提是互联成本和系统复杂度可控。

产业判断还需要区分短期事件和长期趋势。DSP 故障可能带来临时转单,但不自动意味着长期替换;内存池化对光通信长期可能有利,但仍要经过商业可行性、交付能力和生态适配验证;谷歌与 Marvell 的绑定主要围绕 ASIC 合作,不能直接解释为 6D 已经落地;Anthropic 资本开支超预期说明行业变量变化很快,但也不能替代客户订单与量产证据。

因此,6D 更适合作为观察 AI 基础设施演进的压力测试案例:它把拓扑、光模块、OCS、SerDes、铜缆和应用商业化放在同一张账本上。后续应围绕硬件配置、订单斜率、内部布线物料和成本曲线逐项验证,而不能只根据单一传闻推导确定的产业结论。

订阅评论
提醒

0 评论