CodingBox ドキュメント

スイッチの役割とトポロジー:各光モジュールの配置先

同じ 100G モジュールでも、1つのラック内では安価な DAC、部屋をまたげば SR4、建物間なら LR4、都市間なら DWDM チャネルになります。どれになるかを決めるのは、ネットワーク内でのスイッチの役割と、その周りのトポロジーです。このページでは、古典的なキャンパスの階層構成とデータセンターのリーフ・スパインを、それぞれが意味する光モジュール、距離、数量に対応づけます。これにより、設計から部品表を読み取れるようになります。

キャンパスの3階層構成とデータセンターのリーフ・スパイン、各リンク上の光モジュール

キャンパス:アクセス、ディストリビューション、コア

階層役割典型的なポートダウンリンクアップリンクと光モジュール
アクセスエンドデバイスを接続する24–48 × RJ45(1G/mGig、PoE)+ 2–4 の SFP+/SFP28 アップリンク銅線10G/25G SR(建物内 MMF)、LR(建物間)、まれに 1G LX
ディストリビューション/集約建物やフロア群ごとにアクセススイッチを集約する24–48 × SFP+/SFP28、4–8 × QSFP2810G/25G SR/LRコアまで 40G/100G SR4/LR4。光ファイバーが乏しい場合は CWDM/DWDM
コアディストリビューションを相互接続し、ルーティングするQSFP28/QSFP-DD100G/400Gサイト間は LR4/FR4/ER4。借用光ファイバー上ではCWDMまたはDWDM
統合コア小規模サイト:ディストリビューションとコアを1台に統合混在

キャンパスでの距離は数メートルから数キロメートルです。建物内は OM3/OM4 上の SR、建物間はシングルモード上の LR/LX です。伝送距離クラスの一覧は PMD リファレンスにあります。

データセンター:リーフ・スパイン(Clos)

役割別名ポートダウンリンクアップリンク
リーフToR(ラック上部)、アクセス48 × SFP28/SFP56 + 8 × QSFP28/QSFP-DD、または 32 × QSFP-DDサーバー:25G/50G/100G。ラック内は DAC(3 m 以下)、隣接ラックへは AOC/SR各スパインへ:100G/400G の SR4/DR4/AOC(100 m 以下)
スパイン集約、ファブリック32–64 × QSFP28/QSFP-DD/OSFPリーフスーパースパインまたはボーダーへ:DR4/FR4(500 m–2 km)
スーパースパイン/コアpod 間の相互接続高 radix の 400G/800Gスパインキャンパス内は DR/FR。DCI 用に ZR/ZR+コヒーレント
ボーダーリーフWAN/インターネットへのエッジ混在キャリアへ LR/ER/CWDM/DWDM
管理アウトオブバンド1G RJ45/SFPBMC、コンソールOOB コアへ 1G/10G LR

経験則として、リーフ・スパインのリンクはすべて同じ速度と FEC です。オーバーサブスクリプション (ダウンリンク容量 ÷ アップリンク容量)は、汎用コンピュートでは 3:1 が一般的、AI とストレージでは 1:1 です(GPU ファブリック)。

レール最適化 AI ファブリック

GPU ノードは、それぞれの NIC を別々のリーフに接続します。そのため、ほとんどのサーバーリンクがラックの外に出ることになり、DAC の代わりに AOC や光モジュールを使います。GPU あたりのケーブル本数は階層ごとに1本です(AI クラスターの配線)。

ストレージと SAN

Fibre Channel スイッチは、独自のファブリック(edge–core または core–edge–core)を構成し、室内は 16/32/64GFC の SW 光モジュール、室間は LW を使います。Ethernet ストレージは、ロスレスクラスを使ってリーフ・スパインに乗ります(SAN 設計ロスレス Ethernet)。

距離 → 光モジュール

区間距離媒体光モジュール
サーバーから ToR3 m 以下銅線DAC(ケーブル内部
サーバーから end-of-row リーフ3–30 mAOC または MMFAOC、SR
リーフからスパイン、同一ホール内10–100 mOM4 または SMFSR4/SR8、DR4/DR8
ホール間/建物間100 m – 2 kmSMFDR、FR4、LR/LX
キャンパス/メトロ2–40 kmSMFLR、ER、CWDM、4WDM
リージョナル DCI40–120 kmSMF、増幅ありZR/ZR+、DWDM トランスポンダー
長距離> 120 kmSMF、増幅ありDWDM ライン系装置(ネットワーク設計と OTN

光ファイバーが乏しい経路では、CWDM や DWDM を使って 1心あたりの容量を増やします。心が1本しかない場合はシングルファイバー BiDi を使います。

設計から光モジュールの数量を数える

例:16ラックの pod が1つ、ラックあたり32台のサーバー、サーバーあたり 2 × 25G、スパイン4台。

項目数量
サーバーリンク(2 × 25G × 32 × 16)1 024 DAC
リーフアップリンク(16 リーフ × 4 スパイン × 2 × 100G)128 リンク → 256 QSFP28 SR4/DR4 + 128 MPO トランク
スパインからスーパースパイン(4 スパイン × 8 × 100G)32 リンク → 64 モジュール
ボーダー + OOBLR モジュール 8–16、1G が 48
予備品(5 %)約20

デュアルプレーン設計の場合は、2つ目のファブリックの分だけ2倍にします。

役割とポリシー

役割はまた、プラットフォームが光モジュールにどれだけ厳格かも左右します。キャリアや SAN の機器は OEM ブランドを強制する傾向があり、マーチャントシリコンを使うデータセンターのリーフ・スパインは寛容なことが多く、キャンパスアクセスはベンダーによってまちまちです(各 NOS がモジュールを検証する方法ベンダーロック)。

CodingBox では

役割に基づく部品表は、PMD と型番のリストです。CodingBox は、納品された各モジュールをこれと照合し(種別、伝送距離、波長、PN)、設計で OEM 互換モジュールが求められている場合には識別情報をコーディングします(Check transceiverCode database)。

設計を発注と稼働中のラックに変える方法。選定基準、光モジュールの部品表、コミッショニングチェックリスト、受入試験は選定とコミッショニングを、これらのトポロジーを支える L2/L3 の仕組みはフォワーディングの基礎 を参照してください。

これらのトポロジーの土台となる配線。構造化配線の階層、データセンターのパターン(EoR、MoR、ToR、トランクとカセット)、心数計画は 光ファイバーネットワークのトポロジーを参照してください。


この記事に不正確な点や誤りを見つけた場合は、該当する箇所を選択して Ctrl+Enter を押すと、できます。