InfiniBand の光モジュールとケーブル

InfiniBand は、高速イーサネットと同じプラガブル筐体を使用しますが、ケーブルとトランシーバーのどちらを選ぶか、そしてサードパーティモジュールに対する許容度は、HPC と AI クラスター特有の事情によって形作られた独自のルールに従います。

世代別のケーブルとトランシーバーの選択

傾向として、速度が上がるにつれて受動銅線の伝送距離は急速に縮まり、ファブリックは光モジュールへ移行します。NDR では、MPO-12 APCコネクターを使うシングルモード DR光モジュールが標準の選択です。斜め研磨は必須であり、APC と平坦研磨の UPC コネクターを混在させるのは、よくある施工上の誤りです。

ツインポート OSFP

NDR のスイッチポートは、一般にツインポート OSFPです。1つの OSFP モジュールが2本の独立した 400G リンク（2×DR4）を伝送し、フェースプレート密度を倍増させます。フィン付きの一体型ヒートシンクが放熱を担います。OSFPを参照してください。

信号方式と FEC

• EDR：NRZ 25G レーン。HDR：PAM4 50G。NDR：PAM4 100G。
• HDR 以降はRS-FEC が必須です。FEC の不一致や、期待される FEC を通知しないモジュールは、「リンクが確立しない」というよくある原因です。

ベンダーポリシー

InfiniBand ファブリックは、単一のスイッチ／NIC ベンダーが大部分を占めており、そのベンダーのプラットフォームは、識別情報によってケーブルと光モジュールを検証します。認識されないモジュールは、正しく読み取れてもリンクに失敗し、「speed and type: Not supported」のようなステータスになることがあります（ベンダーロックを参照）。そのため運用者は、認定された光モジュールを在庫し、サードパーティモジュールを使う場合は、期待される識別情報にコーディングします。

大規模運用

• クラスターあたり数千個の光モジュール：年間の故障率がわずかでも、交換が途切れなく発生することを意味します。レーンごとの DDM を追跡し、劣化しつつあるレーンが集団通信を遅らせる前に見つけてください。
• MPO 端面の清浄度が、フラッピングの主な原因です。400G 特有の詳細については、CMIS の問題を参照してください。

CodingBox では

CodingBox は、EDR/HDR モジュールを SFF-8636 に従って、NDR の OSFP/QSFP-DD を CMIS に従って読み取ります。識別情報、モジュールの状態、レーンごとの DDM、そしてファブリックがモジュールを受け入れるかどうかを決める識別情報フィールドです。