CodingBox ドキュメント

世代別 IB ケーブリング:DAC、AOC、トランシーバー、分岐ケーブル

InfiniBand クラスターの配線は、伝送距離クラスごとに使い分けます。スイッチが手の届く範囲にあれば銅線、もう少し離れていればアクティブ銅線、隣の列まではアクティブ光ケーブル、それ以外は構造化配線されたトランシーバーです。各世代でこの境界は内側に移動し、コネクターも変わってきました。さらに NDR では、ツインポートモジュールと分岐ケーブルが加わり、初めて施工する人を混乱させています。このページは配線のリファレンスであり、伝送距離、コネクター、分岐構成、機械的な規則、識別情報の規則を扱います。

世代別のコネクター

世代レーンあたりの速度4x ポートコネクター備考
SDR / DDR2.5 / 5 Gb/s10 / 20 Gb/sCX4(銅線)、後に QSFPレガシー
QDR10 Gb/s40 Gb/sQSFPSFF-8436 管理方式
FDR14.06 Gb/s56 Gb/sQSFP+(FDR 対応)64B/66B、FEC は任意
EDR25.78 Gb/s100 Gb/sQSFP28100G イーサネットと同じ光学系、符号化方式は異なる
HDR53.1 Gb/s PAM4200 Gb/sQSFP56HDR100 への 1:2 分岐
NDR106 Gb/s PAM4400 Gb/sスイッチ側はOSFP ツインポート(1モジュールあたり 2 × 400G)、HCA 側は OSFP または QSFP112スイッチケージあたり 800G
XDR212 Gb/s PAM4800 Gb/sOSFP / OSFP-XDスイッチケージあたり 1.6T

フォームファクターの詳細:QSFP28QSFP56OSFPQSFP112

伝送距離クラス

媒体QDRFDREDRHDRNDR備考
パッシブ DAC≤ 7 m≤ 3–5 m≤ 3 m≤ 2 m≤ 1.5–2 m世代ごとに伝送距離が縮まる。長い区間には太いゲージが必要
アクティブ銅線(ACC/AEC)≤ 5 m≤ 5 m≤ 3–4 m≤ 3 m給電式プラグ。NDR 向けの AEC はリタイマー内蔵
AOC≤ 100 m(一部 300 m)≤ 100 m≤ 100 m≤ 100 m通常 ≤ 30–50 m850 nm VCSEL、内部は MMF リボン
トランシーバー SR クラス(MMF)≤ 300 m≤ 100–150 m≤ 70–100 m≤ 70–100 m≤ 50 m(VR)/ 100 m(SR)OM3/OM4、MPO
トランシーバー DR/FR クラス(SMF)500 m ~ 2 km(PSM4、CWDM4)500 m ~ 2 km500 m(DR4)/ 2 km(FR4)MPO-12 APC(DR4)、デュプレックス LC(FR4)

各ケーブル種別の内部構造:ケーブルの内部構造

NDR のツインポートと分岐ケーブル

NDR のスイッチケージには、1つのツインポート OSFPモジュールが収まります。これは、2つの MPO-12/APC(または2つの LC デュプレックス)レセプタクルの先にある、2つの独立した 400G ポートに相当します。1つのモジュールから伸ばせる配線構成は次のとおりです。

構成ケーブル対向端
2 × 400G ストレートMPO-12 APC トランク2本400G NDR HCA ポート2つ(OSFP または QSFP112)、または別のスイッチ
1:2 分岐(800G → 2 × 400G)Y ケーブル、片端は OSFP、もう一方は OSFP/QSFP112 が2端HCA 2台。サーバー接続の標準構成
1:4 分岐(800G → 4 × 200G)片端は OSFP、もう一方は QSFP56/QSFP112 が4端HDR 速度の HCA(NDR200)
AOC ツインポート片端は OSFP ツインポート、もう一方は OSFP/QSFP112 が2端最大 ~30–50 m
DAC ツインポート片端は OSFP、もう一方は2端≤ 1.5–2 m。重量があり、ラック内限定

分岐した各レグは、それぞれ独自のネゴシエーションを行う個別のリンクであり、スイッチからは2つ(または4つ)のポートとして見えます。識別情報のコーディングは、すべての端で組立体全体を一貫して記述していなければなりません(ケーブルの内部構造)。

フィン付き OSFP とフラット OSFP

  • フィン付き OSFP:モジュール上部に十分な気流があるスイッチケージ向けの、一体型ヒートシンクです。フラットケージには収まりません。
  • フラットトップ OSFP:HCA や、被せ式ヒートシンクを使うケージ向けです。どちらのケージにも収まりますが、開放型のスイッチケージでは高温になることがあります。
  • HCA 上のQSFP112は、QSFP と同じフットプリントで、4 × 106 Gb/s の NDR 電気インターフェースを共有します。QSFP112 の HCA ポートは、OSFP スイッチからの分岐ケーブルと組み合わせて使います。

熱的な影響について:電力と熱

機械的な規則

規則理由
曲げ半径を守る(DAC は直径の 10 倍以上、AOC/光ファイバーは 30 mm 以上)ツイナックスの潰れ → レーンエラー、光ファイバーの折れ曲がり → Rx 損失
ケーブルの重量を支える。ツインポート DAC は重いケージへの引っ張り、接触不良、パドルカードの破損
すべての MPO でピン付き/ピンなしと APC を確認するブレークアウトと MPO 配線
挿入前にすべての MPO を清掃・点検する1粒の異物でレーンが 1–3 dB 失われる
未使用のケージとコネクターにはダストキャップを付けたままにする汚染はレーン故障の最大の原因
高温の排気から離して配線するAOC のエンジンと AEC プラグは温度とともに劣化する

識別情報とベンダーポリシー

主要ベンダーの InfiniBand スイッチと HCA は、ケーブルとトランシーバーを対応リストと照合して検証し、そのケーブル情報(ベンダー、PN、SN、長さ、技術方式)をファブリックマネージャーに読み込みます。検証されないケーブルは、速度が制限されてリンクするか、フラグが立てられることがあります。長さやレートクラスが誤ってコーディングされたケーブルは、ネゴシエーションに失敗することがあります。識別情報のバイトは、標準の SFF-8636/CMIS フィールドに、InfiniBand のレート宣言を加えたものです(コンプライアンスコードベンダーロック)。

在庫管理の実践

  • 両端に、リンク情報(スイッチ/ポート ↔ ホスト/ポート)のラベルを付けます。分岐ケーブルは、レグごとのラベルが必要です。
  • ケーブルごとに、ベンダー、PN、SN、長さをファブリックマネージャーまたは CMDB に記録します。データは mlxcables から、または入荷検査時に CodingBox から取得します。
  • 伝送距離クラスとコネクターごとに予備品を確保します。NDR のツインポートと分岐タイプは、通常の 400G と互換性がありません。
  • 展開前に、新しい光モジュールのバーンインを行います(リンクの信頼性と監視)。

CodingBox では

ケーブル端とトランシーバーは、他のモジュールと同じように読み取れます。ケーブル長・技術方式・レートクラスを含む識別情報、AOC と光モジュールのレーンごとの DDM、NDR モジュールの CMIS 状態です(Check transceiverDDM)。設置前に分岐ケーブルの全レグを読み取っておけば、そうしなければ誤った速度でリンクしてしまう、不一致な端を検出できます。

XDR 世代のモジュールの詳細について:OSFP224OSFP-XD

HCA と NIC ドライバーがこれらのケーブルをどのように検証するか、そしてホスト側からその結果を確認するツールについて:NIC におけるトランシーバー互換性NIC のツールと診断


この記事に不正確な点や誤りを見つけた場合は、該当する箇所を選択して Ctrl+Enter を押すと、できます。