ストレージネットワークのトランシーバー
ストレージは、光学部品に対して最も寛容でない環境です。アレイ、HBA、SAN スイッチはいずれもモジュールを検証し、リンクはロスレスでなければならず、限界品質のトランシーバーはポートダウンとしてではなく、アプリケーションのレイテンシとして表面化します。このページでは、ストレージネットワーク全体でトランシーバーがどう使われるか、そして何に注意すべきかを扱います。
光学部品の配置
| 場所 | 典型的な光学部品 | 備考 |
|---|---|---|
| アレイのフロントエンドポート | 16/32GFC SFP+/SFP28、25/100G Ethernet SFP28/QSFP28 | アレイベンダーは適合部品リストを公開しており、光学部品をあらかじめ装着して出荷することも多い |
| ホストの HBA | 16/32GFC SFP+/SFP28 | HBA は光学部品を装着した状態で出荷される。サードパーティ製モジュールも概ね動作するが、サポートが複雑になる |
| SAN スイッチのポートと ISL | 室内は SW、距離が必要な場合は LW/ELW | 最も厳格な検証が行われる——詳細は後述 |
| IP ストレージの NIC(iSCSI、NVMe/TCP、RoCE) | 25/100G Ethernet 光学部品、または DAC | 通常の Ethernet のルールが適用される |
| レプリケーションリンク | LW/ELW、または DWDM 上の FC/Ethernet | 距離とレイテンシのバジェット |
あらゆる箇所でのベンダー検証
ストレージプラットフォームは、3つの段階でモジュールの識別情報をチェックします。
- SAN スイッチ——多くは、適合しない光学部品に対してmodule invalid のポート状態を示し、ポートをオフラインのままにします(FC の光学部品)。
- アレイ——コントローラーが非対応 SFP のアラートを記録するか、ポートの立ち上げを拒否することがあります。
- HBA——通常は寛容ですが、ベンダーサポートが障害調査の前に適合光学部品を要求することがあります。
運用担当者が最終的に行き着く実務上の方針は、アレイとスイッチのポートには適合光学部品を使い、許容される箇所ではサードパーティ製を使い、そして厳格なポートが期待する識別情報を交換品に持たせるためのコーディングツールを使うというものです(ベンダーロックを参照)。
ロスレスとは「遅くなる」ことであって「落ちる」ことではない
FC と RoCE はフレームを破棄しません。そのため、劣化した光学部品はその先の LUN に CRC エラー、クレジットストール(スロードレイン)、レイテンシの上昇を引き起こします——これはネットワーク障害ではなく、ストレージ性能のチケットとして扱われます。診断の手順は他のリンクと同じです(レベル確認 → 清掃 → 交換 → OTDR)が、アプリケーション側の症状から出発してポートへとさかのぼる必要があります。
距離とレプリケーション
- 同期レプリケーションはレイテンシによって制限されます——実務上はおよそ 100 km まで——これが、メトロ DR サイトで LW/ELW の光学部品や DWDM 上の FC が使われる理由です。
- 長い ISL では、光学バジェットに加えて追加のバッファクレジットが必要です。 SAN ファブリックと距離を参照してください。
監視
すべての ISL とアレイポートで DDM のトレンドを追いましょう。Rx パワーのドリフトと Tx バイアスの上昇は、金曜の夜に故障するレーザーの早期警告です。設置時に各光学部品のベースラインを記録してください。
CodingBox では
ストレージネットワークに投入する前に、すべての光学部品をベンチで読み取ってください。FC または Ethernet のレートコード、波長タイプ、ベンダー識別情報を確認し、DDM をベースラインとして記録します。厳格なポート向けには、 EEPROM editor でモジュールを適合識別情報にコーディングし、元の内容はcode database に保存しておきます。
ロスレス Ethernet がすべてのリンクに求めるもの——PFC、ECN、FEC、ゼロ CRC: ストレージ向けロスレス Ethernet。その上で動くトランスポートについては NVMe over Fabricsを参照してください。