NIC のポート、速度と PCIe 帯域幅

NIC のフロントパネルは「2 × 100G」を謳いますが、サーバーが実際に 200 Gb/s を動かせるかどうかは、カードの背後にある PCIe スロット次第です。特定のモジュールが動作するかどうかは、ケージとコントローラーのレーンマップ次第で、これはスイッチとまったく同じ話ですが、ポート数が少なく、バスを過小に見積もりやすい点が異なります。このページでは、NIC に見られるケージと速度、デュアルレートポートとブレークアウトケーブルの規則、PCIe の計算、OCP 3.0 のフォームファクター、そしてカード上の光学部品にとって重要な電力と冷却の限界を扱います。

NIC のケージと速度

ケージの互換性規則はスイッチと同じです（ポート種別とケージ）。

デュアルレートポートと速度グループ

• 大半の 25G NIC は各ポートを 10G または 25G で独立に動作させます（4ポート単位のグループ化はありません）。ただし一部のデュアルポートコントローラーは SerDes グループを共有し、両ポートに同じ速度を強制します。
• 100G カードは 40G モジュールに対応していることが多く、200G/400G カードは 100G モジュールに対応します。2世代以上下のモジュール（SFP28 での 1G、QSA 経由で QSFP56 での 10G）への対応はまれです。
• 速度は通常、モジュールのコンプライアンスコードから自動で決まります。モジュールがデュアルレートであるか認識されない場合は、固定設定（ethtool -s … speed）が必要です（ツール）。

NIC におけるブレークアウト

PCIe：実効ポート速度

実効スループットは、符号化とパケットオーバーヘッドを差し引くと規格値の 85–90 % になります。ポートとレーン数を対応させると次のとおりです。

2 × 100G のカードを Gen 3 x8 スロットに挿すと、両ポートとも 100G でリンクしますが、合計のスループットは 60 Gb/s 程度にとどまります。光学部品は問題なく、バスの方が足りていません。ネゴシエートされたリンク幅と速度（LnkSta）は lspci -vv で確認し、BIOS のバイファーケーション設定も確認してください。

OCP NIC 3.0

OCP カードはサーバー背面に配置され、専用の気流経路を持ちます。GPU の間に埋め込まれた PCIe カードに比べ、モジュールの冷却は通常良好です。

カード上の光学部品における電力と冷却

マルチホストと socket direct

ハイエンドカードは、2つの CPU ソケット（x8 または x16 のリンクを2本）や複数のホストに対して、自らを提示できます。光学側は変わらず、分割は PCIe 側で行われます。Gen 4 プラットフォームでの 400G や、各 GPU の NIC がそれぞれ専用の PCIe ルートに置かれる必要がある GPU サーバーで関係してきます。

光学部品の観点で NIC を選ぶ際のチェックリスト

1. ケージの種類と、そのケージでコントローラーが対応する速度。
2. 対象スロットの PCIe 世代とレーン数、それに対するポート合計帯域幅。
3. ブレークアウトは必要か。コントローラーがポート分割に対応している必要があります。
4. ドライバーのモジュールポリシー（NIC における光学部品の互換性）。
5. ケージの電力予算と、導入予定のモジュール；補助電源コネクターの有無。
6. シャーシ内の設置位置における気流。冷却を重視するなら OCP 3.0 も検討してください。
7. FEC モードと速度固定に対する OS／ドライバーの対応。

CodingBox では

モジュールのコンプライアンスコードとパワークラスを見れば、そのモジュールが NIC のケージと速度に対応できるかが分かります。CodingBox はモジュールを取り付ける前にこれらを読み取り、ポート分割や PCIe に関する判断はサーバー側で行います（Check transceiver）。