NVMe over Fabrics：FC-NVMe、NVMe/TCP、NVMe/RoCE とその光モジュール

サーバー内部で NVMe が SCSI に取って代わったのは、フラッシュが十分に高速でプロトコルオーバーヘッドが表面化するようになったからです。NVMe over Fabrics （NVMe-oF）は同じコマンドセットをネットワーク越しに運び、共有ストレージがその速度に追随できるようにします。NVMe-oF は3種類のトランスポート上で動作し、それぞれが 3種類のネットワーク——つまり3種類の光学部品と3組の物理層ルール——に対応します。このページではそれらを比較し、各トランスポートがリンクに何を要求するかを説明します。

なぜ NVMe-oF なのか

トランスポート

この4つはすべて NVMe-oF のアーキテクチャを共有しています。ディスカバリーコントローラーがホストにどのサブシステムが存在するかを伝え、ホストはキューを I/O コントローラーへ接続します。ANA（非対称ネームスペースアクセス）がマルチパスを扱います。

各トランスポートが物理層に求めるもの

とりわけ敏感なのが RoCE です。Rx パワーが限界に近い、あるいはコネクターが汚れているリンクは CRC エラーを生みますが、これは TCP であれば黙って吸収される一方で、 RDMA キューを目に見える形で停止させます。ポートのエラーカウンターと連動するストレージのレイテンシスパイクが、その兆候です（Rx パワーとリンクバジェット、 VDM と FEC 指標）。

選び方

運用上の注意点

• 可能であればストレージとコンピュートでネットワークを分離する——最低でもトラフィッククラスは分離する。RoCE には専用のロスレスクラスが必要です。
• MTU：Ethernet トランスポートでは 9000。エンドツーエンドで統一します。
• マルチパス：2つのファブリック、または2組の VLAN／リーフ。ANA 対応のイニシエーター。
• 監視：ポートごとの CRC/FEC とポーズカウンター、加えて DDM のトレンド——劣化する光学部品は、故障するかなり前からテールレイテンシとして現れます（監視）。
• ファームウェア：NIC/HBA とアレイのファームウェア互換性マトリクスは、光学部品の互換性と同じくらい重要です（SAN における光学部品）。

CodingBox では

NVMe-oF ファブリックの光学部品は、通常の FC、Ethernet、IB のモジュールです。違うのは、トランスポートが許容するエラーの少なさです。設置前にベンチで識別情報とベースラインの DDM を読み取ること（Check transceiver、 DDM）、そしてアレイとスイッチのベンダーが受け入れる識別情報をコーディングすること（ベンダーロック）が、プログラマーに関わる作業です。

これらのファブリックが載るアダプター——100G/200G の NIC、そのケージ、PCIe の制約、モジュールポリシー： 光ポートを持つ NIC。