AI 集群中的光模块 · 人工智能 · 技术 · 文档 · CodingBox
CodingBox 文档

AI 集群中的光模块

AI 训练集群是有史以来对高速光模块需求最大的场景,它们在速率、功耗和数量上都把模块推向极限。真正重要的工程问题,不是某一条链路本身,而是如何让成千上万条链路稳定运行。

使用哪些光模块

角色模块典型 PMD连接器
GPU 服务器 ↔ leaf(scale-out,IB NDR)OSFP 双端口 2×400GDR4 ×22 × MPO-12 APC
GPU 服务器 ↔ leaf(以太网)QSFP-DD / OSFP 400G–800GDR4、DR8、2×FR4MPO-12/16 APC,双 LC
leaf ↔ spine800G OSFP / QSFP-DD800DR8、2×FR4MPO-16 APC,双 LC
机柜内短距跳段传输距离允许时用 DAC / AOC——

单模 DR 光模块占主导地位,因为它们的传输距离达到 500 m——足够覆盖任何机房——并且能在同一套光纤基础设施上从 400G 平滑升级到 800G。必须使用斜面 APC 连接器。

功耗与发热

一个 800G 模块的功耗约为 14–18 W;一台 64 端口交换机面板上的光模块总功耗达千瓦级。OSFP 自带散热片,因此更适合最热的模块;QSFP-DD 依赖主机散热。热降速——模块过热时自动降级——是间歇性 400G/800G 抖动的一个真实成因(CMIS 问题)。

线性驱动可插拔光模块(LPO)取消了模块内的 DSP 以降低功耗和延迟,将均衡功能移到交换机 ASIC 上;在主机支持的短距 DR 链路上已开始出现。

大规模下的可靠性

数量一旦上去,算法就完全变了:拥有 100 000 个光模块时,即便年故障率只有 0.5%,每周也要更换十个。由此带来的后果:

  • 在整个机群范围内按通道监测 DDM 并跟踪趋势,在劣化模块拖慢训练某一步之前将其更换(故障)。
  • 按批次准备备件并做进料检验——故障往往按生产批次聚集出现。
  • MPO 清洁纪律——每个连接器 16 根光纤,一粒尘埃就能使一个通道失效(链路抖动)。
  • 一个慢通道会拖慢整个集合操作:尾延迟才是关键指标。

身份信息与互操作性

大型集群通常只使用一份很短的已验证模块清单,交换机平台会校验身份信息。在平台允许的场合使用第三方 400G/800G 光模块,在不允许的场合则按预期身份编码——与其他场景相同的厂商锁定 规则在这里同样适用,只是单价高得多。

未来走向

1.6T 端口(OSFP-XD,16 通道)和每通道 200G 电接口是下一步;对于最大规模的系统,共封装光学会把光模块直接移入交换机封装内部。

在 CodingBox 中

CodingBox 通过 CMIS 读取 400G/800G OSFP 和 QSFP-DD 模块:模块状态、应用能力声明、身份信息,以及在 DDM 界面显示的每通道发射/接收光功率和偏置电流——这些正是运营方验证进货批次、建立新链路基线、以及在八个通道中定位单个故障通道所需的数据。

把这些选择转化为线缆数量、传输距离和安装检查清单:AI 集群布线;安装完成后维持链路正常运行:链路可靠性与监测。

1.6T 模块本身——通道、功耗、分组、兼容性:OSFP224、OSFP-XD。


如果您发现本资料中有不准确之处或错误,请选中相应片段并按 Ctrl+Enter,即可。