CodingBox ドキュメント

フォワーディングの基礎:VLAN、LAG、スパニングツリー、ルーティング

トランシーバーの問題が、トランシーバーの問題として名乗り出ることはありません。実際に現れるのは、スパニングツリーのトポロジー変更、LAG メンバーのサスペンド、OSPF ネイバーのダウン、VXLAN トンネルのフラッピング、あるいは「ユーザーの半分が遅い」といった形です。こうした症状を物理層まで読み解くには、フォワーディングの語彙が要ります。スイッチがどう MAC アドレスを学習するか、VLAN とトランクとは何か、リンクアグリゲーションがどうフローをハッシュするか、スパニングツリーがなぜポートをブロックするか、リンクが点滅したときルーティングプロトコルが何をするか、といったことです。このページはその語彙を、根本原因がコネクターの汚れかもしれないときに役立つ範囲に絞ってまとめたものです。

レイヤー2:MAC 学習と VLAN

概念起きること光モジュールとの関係
MAC 学習各フレームの送信元 MAC を、受信したポートに対応づけて記録する。未知の宛先はフラッディングするフラッピングするポートはエントリーをフラッシュして再学習する。フラップのたびに短時間のフラッディングが起きる
エージングエントリーが失効する(デフォルトは 300 秒)
VLAN(802.1Q)ブロードキャストドメイン。トランク上のフレームは 12 ビットのタグ(1–4094)を持つ
アクセスポートタグなし VLAN を1つだけ持つ
トランクポートタグ付き VLAN を複数持ち、ネイティブ VLAN は1つだけタグなしアップリンク間でネイティブ VLAN が不一致だと、リンク障害ではなく部分的な疎通不良として現れる
MTU / ジャンボフレームデフォルトは 1 500 バイト、ジャンボは 9 000–9 216アップリンク間で MTU が不一致だと、小さいパケットは通り、大きいパケットは落ちる。断続的な光モジュール障害に見える
ストームコントロール、BPDU ガード、ポートセキュリティポートをシャットダウンする保護機能これらのいずれかによる errdisable ポートは、モジュール故障のように見える(症状索引

スパニングツリー

方式収束時間備考
STP(802.1D)30–50 秒レガシー
RSTP(802.1w)< 1–3 秒多くの機種でデフォルト
MSTP(802.1s)RSTP と同様、インスタンス単位VLAN グループ
PVST+/Rapid-PVST+VLAN 単位Cisco

スパニングツリーは、冗長な L2 経路をブロックします。不良な光モジュールがこれに何をもたらすかは次のとおりです。

  • フラッピングするアップリンクは、トポロジー変更通知(TCN)を発生させます。TCN のたびにネットワーク全体で MAC テーブルがフラッシュされ、数秒間のフラッディングが起きます。フラップのたびにユーザーは停止を経験します(リンクフラッピング)。
  • 単方向リンク(光ファイバーの片方が断線し、Tx は動作するが Rx は動作しない状態)は、 BPDU が届かなくなるとループを生み出すことがあります。UDLD、ループガード、ブリッジアシュアランスはまさにこのために存在します(リンクが確立しない)。
  • ブロッキング状態のポートの LED(アンバー)は、冗長リンクでは正常な状態であり、障害ではありません(ポート名と LED)。

リーフ・スパインファブリックは、すべてのリンクをルーティングすることで STP を回避します。

リンクアグリゲーション(LAG、ポートチャネル、bond)

項目内容
プロトコルLACP(802.1AX / 802.3ad)。メンバー間で PDU を交換し、メンバーシップをネゴシエートする。static LAG には保護機能がない
メンバー同じ速度、デュプレックス、MTU が必要。ほとんどの NOS は同じ FEC とメディアタイプも要求する。4 × 25G の光モジュールと 4 × 25G の DAC を混在させることはできない
ハッシュMAC/IP/ポートのフィールドのハッシュ値でフローを分散する。1つのフローが1メンバーの速度を超えることはない
エラーのあるメンバーPDU が通っている限り、LACP はそのメンバーをバンドルに残す。あるメンバーの CRC エラーは、そこにハッシュされたフローを破損させる。「一部のセッションだけ遅く、他は問題ない」が典型的な兆候(VDM と FEC のメトリクス
Min-linksアップしているメンバーが N 未満になるとバンドル全体がダウンする。劣化した1本のリンクだけで運用し続けることを防ぐ
名称NOS ごとに Port-channelaeEth-TrunkbondPortChannel
2台のスイッチにまたがる場合MLAG/vPC/VLT(スタッキングと MLAG

実務上のポイント:LAG が「動作はしているが遅い」ときは、バンドル全体ではなく、メンバーごとのカウンターと DDM を確認してください。

レイヤー3:スイッチでのルーティング

概念内容光モジュールとの関係
SVI / ルーテッドポートVLAN または物理ポート上の IP インターフェースルーテッドアップリンクには STP がない。フラップはルーティングイベントになる
Static / OSPF / IS-IS / BGPルーティングプロトコル。DC ファブリックはリンクごとの eBGP または OSPF を使うネイバーの up/down ログから、どのリンクがいつフラップしたかを特定できる
ECMPN 本のアップリンクにわたる等コストマルチパス。フローは LAG と同様にハッシュされる不良なアップリンクが1本あると、フローの 1/N が劣化する。BFD(50–300 ms)はプロトコルのタイマーより速く障害を検出する
ダンプニングフラッピングするインターフェースのアドバタイズを抑制するフラッピングする光モジュールはダンプニングされる。リンクは「up」だがトラフィックはルーティングされない
VRF独立したルーティングテーブル(管理 VRF に注意)誤った VRF 経由でスイッチに ping すると、リンク障害のように見える
ファーストホップ冗長化(HSRP/VRRP)2台のスイッチ間の仮想ゲートウェイフラップはゲートウェイの切り替えを引き起こす

オーバーレイ

オーバーレイ使われる場所光モジュールとの関係
VXLAN / EVPNDC ファブリック:L3 上の L2トンネルは ECMP に乗る。スパインのリンク障害は、トンネルをランダムに劣化させる。予測可能な形ではない
MPLS / SRキャリア高速リルート(< 50 ms)がフラップを覆い隠す。アンダーレイのカウンターを確認する
EVPN マルチホーミング(ESI-LAG)MLAG の代替メンバーリンクは別々のリーフに接続する。ルールは LAG メンバーと同じ

フロー制御とロスレスクラス

仕組み目的光モジュールとの関係
802.3x pause対向を停止させるほとんど使われない。グローバルポーズは輻輳を隠してしまう
PFC(802.1Qbb)RoCE/FCoE 向けの優先度別ポーズCRC エラーのあるリンクが引き起こすのは再送であってポーズではない。ただし、フラッピングするポートからのポーズストームは、ロスレスクラスをファブリック全体で止めてしまうことがある(ロスレス Ethernet
ECN輻輳をマークする

フォワーディングの症状を物理層に読み替える

フォワーディングの症状確認すべき物理的な原因
数分おきの STP TCN、ログ上の MAC フラップアップリンクが1本フラッピングしている。DDM の Rx パワーが受信感度に近い、コネクターの汚れ
LACP メンバーが「suspended」/「individual」そのメンバーでの FEC または速度の不一致。モジュールが認識されていない
1本のリンクで OSPF/BGP ネイバーがリセットされる光モジュールのフラッピング、またはモジュールが温度上限に達している
ECMP:一部のフローだけ遅い、またはロスがあるFEC 訂正不能エラーまたは CRC のあるアップリンクが1本ある
ジャンボフレームは失敗するが ping は通るMTU の問題。光モジュールではない
光ファイバー修理後のループまたはブロードキャストストーム単方向リンク、MPO での極性の入れ替わり、UDLD 未設定
ソフトウェアアップグレード後にトラフィックが止まる新しいリリースでサードパーティ製光モジュールが拒否されている(互換性マトリクスとファームウェア
サーバー側ではリンク up だがトラフィックがないVLAN の誤り/ネイティブ VLAN の不一致、またはスイッチ側だけ LAG が組まれサーバー側にはない

各行の裏付けとなる物理的な確認手順は、症状索引スイッチ上の光モジュールの検証にあります。

CodingBox では

フォワーディング層の症状はポートを指し示し、ポートはモジュールを指し示します。モジュールの DDM、識別情報、しきい値を、スイッチ上またはベンチ上で読み取れば、事案は解決します。 code database にモジュールごとの記録を残しておけば、「また LAG が遅い」が「メンバー3、シリアル X、Rx −17 dBm、交換済み」に変わります。


この記事に不正確な点や誤りを見つけた場合は、該当する箇所を選択して Ctrl+Enter を押すと、できます。