世代別 IB ケーブリング:DAC、AOC、トランシーバー、分岐ケーブル
InfiniBand クラスターの配線は、伝送距離クラスごとに使い分けます。スイッチが手の届く範囲にあれば銅線、もう少し離れていればアクティブ銅線、隣の列まではアクティブ光ケーブル、それ以外は構造化配線されたトランシーバーです。各世代でこの境界は内側に移動し、コネクターも変わってきました。さらに NDR では、ツインポートモジュールと分岐ケーブルが加わり、初めて施工する人を混乱させています。このページは配線のリファレンスであり、伝送距離、コネクター、分岐構成、機械的な規則、識別情報の規則を扱います。
世代別のコネクター
| 世代 | レーンあたりの速度 | 4x ポート | コネクター | 備考 |
|---|---|---|---|---|
| SDR / DDR | 2.5 / 5 Gb/s | 10 / 20 Gb/s | CX4(銅線)、後に QSFP | レガシー |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | SFF-8436 管理方式 |
| FDR | 14.06 Gb/s | 56 Gb/s | QSFP+(FDR 対応) | 64B/66B、FEC は任意 |
| EDR | 25.78 Gb/s | 100 Gb/s | QSFP28 | 100G イーサネットと同じ光学系、符号化方式は異なる |
| HDR | 53.1 Gb/s PAM4 | 200 Gb/s | QSFP56 | HDR100 への 1:2 分岐 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | スイッチ側はOSFP ツインポート(1モジュールあたり 2 × 400G)、HCA 側は OSFP または QSFP112 | スイッチケージあたり 800G |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | スイッチケージあたり 1.6T |
フォームファクターの詳細:QSFP28、QSFP56、OSFP、QSFP112。
伝送距離クラス
| 媒体 | QDR | FDR | EDR | HDR | NDR | 備考 |
|---|---|---|---|---|---|---|
| パッシブ DAC | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1.5–2 m | 世代ごとに伝送距離が縮まる。長い区間には太いゲージが必要 |
| アクティブ銅線(ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | 給電式プラグ。NDR 向けの AEC はリタイマー内蔵 |
| AOC | ≤ 100 m(一部 300 m) | ≤ 100 m | ≤ 100 m | ≤ 100 m | 通常 ≤ 30–50 m | 850 nm VCSEL、内部は MMF リボン |
| トランシーバー SR クラス(MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m(VR)/ 100 m(SR) | OM3/OM4、MPO |
| トランシーバー DR/FR クラス(SMF) | — | — | 500 m ~ 2 km(PSM4、CWDM4) | 500 m ~ 2 km | 500 m(DR4)/ 2 km(FR4) | MPO-12 APC(DR4)、デュプレックス LC(FR4) |
各ケーブル種別の内部構造:ケーブルの内部構造。
NDR のツインポートと分岐ケーブル
NDR のスイッチケージには、1つのツインポート OSFPモジュールが収まります。これは、2つの MPO-12/APC(または2つの LC デュプレックス)レセプタクルの先にある、2つの独立した 400G ポートに相当します。1つのモジュールから伸ばせる配線構成は次のとおりです。
| 構成 | ケーブル | 対向端 |
|---|---|---|
| 2 × 400G ストレート | MPO-12 APC トランク2本 | 400G NDR HCA ポート2つ(OSFP または QSFP112)、または別のスイッチ |
| 1:2 分岐(800G → 2 × 400G) | Y ケーブル、片端は OSFP、もう一方は OSFP/QSFP112 が2端 | HCA 2台。サーバー接続の標準構成 |
| 1:4 分岐(800G → 4 × 200G) | 片端は OSFP、もう一方は QSFP56/QSFP112 が4端 | HDR 速度の HCA(NDR200) |
| AOC ツインポート | 片端は OSFP ツインポート、もう一方は OSFP/QSFP112 が2端 | 最大 ~30–50 m |
| DAC ツインポート | 片端は OSFP、もう一方は2端 | ≤ 1.5–2 m。重量があり、ラック内限定 |
分岐した各レグは、それぞれ独自のネゴシエーションを行う個別のリンクであり、スイッチからは2つ(または4つ)のポートとして見えます。識別情報のコーディングは、すべての端で組立体全体を一貫して記述していなければなりません(ケーブルの内部構造)。
フィン付き OSFP とフラット OSFP
- フィン付き OSFP:モジュール上部に十分な気流があるスイッチケージ向けの、一体型ヒートシンクです。フラットケージには収まりません。
- フラットトップ OSFP:HCA や、被せ式ヒートシンクを使うケージ向けです。どちらのケージにも収まりますが、開放型のスイッチケージでは高温になることがあります。
- HCA 上のQSFP112は、QSFP と同じフットプリントで、4 × 106 Gb/s の NDR 電気インターフェースを共有します。QSFP112 の HCA ポートは、OSFP スイッチからの分岐ケーブルと組み合わせて使います。
熱的な影響について:電力と熱。
機械的な規則
| 規則 | 理由 |
|---|---|
| 曲げ半径を守る(DAC は直径の 10 倍以上、AOC/光ファイバーは 30 mm 以上) | ツイナックスの潰れ → レーンエラー、光ファイバーの折れ曲がり → Rx 損失 |
| ケーブルの重量を支える。ツインポート DAC は重い | ケージへの引っ張り、接触不良、パドルカードの破損 |
| すべての MPO でピン付き/ピンなしと APC を確認する | ブレークアウトと MPO 配線 |
| 挿入前にすべての MPO を清掃・点検する | 1粒の異物でレーンが 1–3 dB 失われる |
| 未使用のケージとコネクターにはダストキャップを付けたままにする | 汚染はレーン故障の最大の原因 |
| 高温の排気から離して配線する | AOC のエンジンと AEC プラグは温度とともに劣化する |
識別情報とベンダーポリシー
主要ベンダーの InfiniBand スイッチと HCA は、ケーブルとトランシーバーを対応リストと照合して検証し、そのケーブル情報(ベンダー、PN、SN、長さ、技術方式)をファブリックマネージャーに読み込みます。検証されないケーブルは、速度が制限されてリンクするか、フラグが立てられることがあります。長さやレートクラスが誤ってコーディングされたケーブルは、ネゴシエーションに失敗することがあります。識別情報のバイトは、標準の SFF-8636/CMIS フィールドに、InfiniBand のレート宣言を加えたものです(コンプライアンスコード、ベンダーロック)。
在庫管理の実践
- 両端に、リンク情報(スイッチ/ポート ↔ ホスト/ポート)のラベルを付けます。分岐ケーブルは、レグごとのラベルが必要です。
- ケーブルごとに、ベンダー、PN、SN、長さをファブリックマネージャーまたは CMDB に記録します。データは
mlxcablesから、または入荷検査時に CodingBox から取得します。 - 伝送距離クラスとコネクターごとに予備品を確保します。NDR のツインポートと分岐タイプは、通常の 400G と互換性がありません。
- 展開前に、新しい光モジュールのバーンインを行います(リンクの信頼性と監視)。
CodingBox では
ケーブル端とトランシーバーは、他のモジュールと同じように読み取れます。ケーブル長・技術方式・レートクラスを含む識別情報、AOC と光モジュールのレーンごとの DDM、NDR モジュールの CMIS 状態です(Check transceiver、DDM)。設置前に分岐ケーブルの全レグを読み取っておけば、そうしなければ誤った速度でリンクしてしまう、不一致な端を検出できます。
HCA と NIC ドライバーがこれらのケーブルをどのように検証するか、そしてホスト側からその結果を確認するツールについて:NIC におけるトランシーバー互換性、NIC のツールと診断。