CodingBox ドキュメント

スイッチ内部:ASIC、SerDes、ポートグループ、制御プレーン

スイッチのポートは、トランシーバーの手前にある最後の関門です。モジュールに許可される内容の大半 — どの速度が使えるか、ブレークアウトが機能するか、同時に 25G で動作できるポート数、DDM をどれだけの頻度でポーリングするか — は、そのポートの背後にあるシリコンとファームウェアが決めています。このページでは、その中身を開いて見ていきます。フォワーディング ASIC とその SerDes、レーンがどのようにポートへまとめられるか、制御プレーンの CPU が2線バスに対して何を行うか、そして光モジュール用の電力と熱がどこから来るかです。

スイッチのブロック図:フロントパネルのケージ、PHY とリタイマー、フォワーディング ASIC、NOS を実行する制御プレーン CPU、I²C バス、電源とファン

3つのプレーン

プレーンハードウェア光モジュールに対する役割
データプレーンフォワーディング ASIC(Broadcom Trident/Tomahawk、Marvell、Nvidia Spectrum などのマーチャントシリコン、またはベンダー独自設計)、その SerDes、PHY/リタイマーモジュールへの電気レーンを駆動し、PCS/FEC、MAC、フォワーディングを実行する
制御プレーンネットワーク OS を実行する汎用 CPUI²C 経由でモジュールの EEPROM を読み取り、識別情報を検証し、ポリシーを適用し、レーンを設定し、DDM をポーリングし、アラームを発する
管理アウトオブバンドのイーサネット/コンソール、場合により BMCshow interface transceiver や syslog が見える場所

データプレーンは高速だが単純な処理しかしません。制御プレーンは低速ですが、判断を下すのはこちらです。だからこそ、モジュールが電気的には完璧であっても「unsupported」になり得るのです。CPU が拒否したということです(ホストが行うこと)。

SerDes とレーン

すべてのポートは、ASIC から出るSerDes レーンの束です。レーンあたりのレートは、チップの世代によって決まります:

ASIC 世代(典型例)SerDes レーンポートの選択肢
1G 世代1.25 GBdSFP 1G、RJ45
10G10.3 GBdSFP+;4レーン → QSFP+ 40G
25G25.78 GBd NRZSFP28;4レーン → QSFP28 100G;10G へのフォールバックも多い
50G26.5 GBd PAM4SFP56;QSFP56 200G;8レーン → 400G(QSFP-DD/OSFP)
100G53.1 GBd PAM4QSFP112;8レーン → 800G
200G106 GBd PAM48レーン → 1.6T(OSFP224、16レーンの OSFP-XD

モジュールには、SerDes が生成できるレーンレートが必要です。25G の SerDes ポートが 10G モジュールを駆動できるのは、その SerDes が低いレートにも対応している場合に限られます(ほとんどは対応しています)。チップによっては、50G PAM4 のレーンを 25G NRZ のレーンまで落とすことができず、それが「このポートは 25G に対応していない」という現象の原因になります(イーサネットの世代)。

ポートグループと速度の制約

SerDes はクワッド(クロック/PLL を共有する4レーンの組)単位で構成されています。その結果:

  • 速度グループ — 多くの 25G プラットフォームでは、1つのクワッドを構成する4つの SFP28 ポートは、すべて 10G またはすべて 25G で動作する必要があります。混在させると拒否されるか、黙ってダウングレードされます(速度とレート)。
  • ブレークアウト — QSFP ポートの4レーンが4つのポートになれるのは、ASIC とポートの PHY マッピングがそれを許可している場合に限られます。ブレークアウトできるのは特定のポートだけ(または1つおき)であることが多く、あるポートでブレークアウトを有効にすると、隣接ポートが無効になります(ブレークアウトと MPO 配線)。
  • ポートグループ単位の FEC — FEC モードがグループ全体で共有されることがあります。
  • オーバーサブスクライブされたアップリンク — 設計によっては、ASIC が持つ以上のフロントパネルレーンを多重化しており、すべてのポートが同時にフルレートで動作できるわけではありません。

これらの規則はポートごとにプラットフォームのハードウェアガイドに記載されており、モジュール側からは見えません。

ボード上の PHY、リタイマー、ギアボックス

ASIC とケージの間には、PHY(RJ45 ポート用)、リタイマー(高密度ボックスで長い基板配線をクリーンにする)、ギアボックス(一部の 100G 設計での 2×50G の ASIC レーン ↔ 4×25G のモジュールレーンなど)、またはMACsec エンジンが挟まることがあります。それぞれがレイテンシと、独自の速度/FEC 制約を追加し、それぞれがレーンの設定を誤り得るもう一つの箇所になります。ポートが「ASIC に直結」しているかどうかは、LPO 光学系にとって重要です。LPO はモジュールに到達するために ASIC 自身のイコライザーを必要とするためです(変調と DSP)。

制御プレーンと2線バス

  • CPU はI²C マルチプレクサ(ポートごと、またはグループごとに1本のバス)を通じてモジュールの EEPROM にアクセスします。多くの場合、存在信号、LPMode、リセット、割り込みピンも扱う CPLD/FPGA 経由です(2線インターフェース)。
  • 立ち上げはソフトウェアによる一連の手順です:検出 → 識別情報の読み取り → 検証 → 電源投入 → レーンの設定 → Tx の有効化 → DDM のポーリング。CMIS をどこまで実装しているかは NOS のリリースごとに異なります(CMIS の問題)。
  • DDM のポーリングは CPU によってスケジュールされます — 通常は数秒から1分ごとです。数百ポートが1つの管理 CPU を共有するため、SNMP による負荷の高いポーリングは処理を遅くすることがあります(ツールで DDM を読み取る)。
  • ポリシー(ホワイトリスト、errdisable、サードパーティ製のオーバーライド)は、純粋な制御プレーンのコードです(各 NOS のモジュール検証方法)。

光モジュール用の電力と冷却

項目典型値備考
ケージあたり 3.3 Vクラスによる上限:1.5 W(SFP+)、3.5–5 W(QSFP28)、12–15 W(QSFP-DD)、15–25+ W(OSFP)超過すると → モジュールが低電力に留め置かれる(電力と熱
フェースプレートの気流前面吸気または背面吸気モジュールのヒートシンクの向きの不一致や、吸気口の閉塞は光モジュールを過熱させる
光モジュール全体の電力予算400G ボックスで 32 × 12 W ≈ 0.4 kW、800G で 64 × 16 W ≈ 1 kWスイッチの電源ユニット定格のかなりの部分を占める

バッファー、フォワーディングと光モジュールとの関係

ほとんど関係はありません。ただし、輻輳制御機能(PFC、ECN)はリンクエラーと相互作用します。CRC でフレームを落としているポートは、ストレージや RDMA から見ると輻輳しているように見えます(ロスレスイーサネット)。フォワーディング容量(Tb/s)、バッファーサイズ、テーブルサイズがスイッチの役割を決めるのであって(役割とトポロジー)、光モジュールではありません。

マーチャントシリコンとカスタムシリコン、オープン NOS とクローズド NOS

モデル光モジュールへの影響
マーチャント ASIC + ベンダー NOS大半のエンタープライズおよび DC スイッチ光モジュールの対応状況はベンダーポリシーが決める。ハードウェアの制約は ASIC 由来
マーチャント ASIC + オープン NOSホワイトボックスハードウェア上の SONiC、Cumulusポリシーは最小限。互換性テストは自己責任
カスタム ASIC + ベンダー NOS一部のキャリアおよびハイエンド DC プラットフォーム統合度が高い。もっとも厳格な検証であることが多い

NOS の全体像と、それぞれの光モジュールに関する挙動:ネットワーク OS

CodingBox での作業

スイッチの判断は、モジュールの識別バイトに基づいて行われます。CodingBox が表示・編集するのはまさにこの部分です。SerDes が対応すべきレートコードとアプリケーション、ケージに対する電力クラス、ポートの PHY 経路に対応するコネクタと技術です(Check transceiverEEPROM editor)。

SerDes がケージに渡すレーン束 — SFI、25GAUI、CAUI-4、400GAUI-8、800GAUI-8 — と、C2M 準拠点およびレーンマッピング:XGMII、XAUI と AUI ファミリー。MII から AUI までの全段階:メディア非依存インターフェース

これらの部品がどのようにパッケージ化されるか — 固定構成、ラインカードとファブリックを備えたシャーシ、スタッカブル、産業用、ホワイトボックス — と、気流の向きおよび冗長性:スイッチクラスとフォームファクター。ラックに搭載した後のポートの呼び方:ポート名と LED


この記事に不正確な点や誤りを見つけた場合は、該当する箇所を選択して Ctrl+Enter を押すと、できます。