CodingBox ドキュメント

ストレージネットワークのトランシーバー

ストレージは、光学部品に対して最も寛容でない環境です。アレイ、HBA、SAN スイッチはいずれもモジュールを検証し、リンクはロスレスでなければならず、限界品質のトランシーバーはポートダウンとしてではなく、アプリケーションのレイテンシとして表面化します。このページでは、ストレージネットワーク全体でトランシーバーがどう使われるか、そして何に注意すべきかを扱います。

光学部品の配置

場所典型的な光学部品備考
アレイのフロントエンドポート16/32GFC SFP+/SFP28、25/100G Ethernet SFP28/QSFP28アレイベンダーは適合部品リストを公開しており、光学部品をあらかじめ装着して出荷することも多い
ホストの HBA16/32GFC SFP+/SFP28HBA は光学部品を装着した状態で出荷される。サードパーティ製モジュールも概ね動作するが、サポートが複雑になる
SAN スイッチのポートと ISL室内は SW、距離が必要な場合は LW/ELW最も厳格な検証が行われる——詳細は後述
IP ストレージの NIC(iSCSI、NVMe/TCP、RoCE)25/100G Ethernet 光学部品、または DAC通常の Ethernet のルールが適用される
レプリケーションリンクLW/ELW、または DWDM 上の FC/Ethernet距離とレイテンシのバジェット

あらゆる箇所でのベンダー検証

ストレージプラットフォームは、3つの段階でモジュールの識別情報をチェックします。

  1. SAN スイッチ——多くは、適合しない光学部品に対してmodule invalid のポート状態を示し、ポートをオフラインのままにします(FC の光学部品)。
  2. アレイ——コントローラーが非対応 SFP のアラートを記録するか、ポートの立ち上げを拒否することがあります。
  3. HBA——通常は寛容ですが、ベンダーサポートが障害調査の前に適合光学部品を要求することがあります。

運用担当者が最終的に行き着く実務上の方針は、アレイとスイッチのポートには適合光学部品を使い、許容される箇所ではサードパーティ製を使い、そして厳格なポートが期待する識別情報を交換品に持たせるためのコーディングツールを使うというものです(ベンダーロックを参照)。

ロスレスとは「遅くなる」ことであって「落ちる」ことではない

FC と RoCE はフレームを破棄しません。そのため、劣化した光学部品はその先の LUN に CRC エラー、クレジットストール(スロードレイン)、レイテンシの上昇を引き起こします——これはネットワーク障害ではなく、ストレージ性能のチケットとして扱われます。診断の手順は他のリンクと同じです(レベル確認 → 清掃 → 交換 → OTDR)が、アプリケーション側の症状から出発してポートへとさかのぼる必要があります。

距離とレプリケーション

  • 同期レプリケーションはレイテンシによって制限されます——実務上はおよそ 100 km まで——これが、メトロ DR サイトで LW/ELW の光学部品や DWDM 上の FC が使われる理由です。
  • 長い ISL では、光学バジェットに加えて追加のバッファクレジットが必要です。 SAN ファブリックと距離を参照してください。

監視

すべての ISL とアレイポートで DDM のトレンドを追いましょう。Rx パワーのドリフトと Tx バイアスの上昇は、金曜の夜に故障するレーザーの早期警告です。設置時に各光学部品のベースラインを記録してください。

CodingBox では

ストレージネットワークに投入する前に、すべての光学部品をベンチで読み取ってください。FC または Ethernet のレートコード、波長タイプ、ベンダー識別情報を確認し、DDM をベースラインとして記録します。厳格なポート向けには、 EEPROM editor でモジュールを適合識別情報にコーディングし、元の内容はcode database に保存しておきます。

ロスレス Ethernet がすべてのリンクに求めるもの——PFC、ECN、FEC、ゼロ CRC: ストレージ向けロスレス Ethernet。その上で動くトランスポートについては NVMe over Fabricsを参照してください。


この記事に不正確な点や誤りを見つけた場合は、該当する箇所を選択して Ctrl+Enter を押すと、できます。