ภายในสวิตช์: ASIC, SerDes, กลุ่มพอร์ต และระนาบควบคุม · พื้นฐานสวิตช์ · การ์ดเครือข่ายและสวิตช์ · เอกสารประกอบ · CodingBox
CodingBox เอกสารประกอบ

ภายในสวิตช์: ASIC, SerDes, กลุ่มพอร์ต และระนาบควบคุม

พอร์ตสวิตช์คือจุดสุดท้ายก่อนถึงทรานซีฟเวอร์ และสิ่งที่โมดูลได้รับอนุญาตให้ทำส่วนใหญ่ — ความเร็วแบบไหนได้บ้าง เบรกเอาต์ใช้ได้หรือไม่ กี่พอร์ตรันที่ 25G พร้อมกันได้ DDM ถูกโพลบ่อยแค่ไหน — ถูกตัดสินใจโดยซิลิคอนและเฟิร์มแวร์ที่อยู่เบื้องหลังพอร์ตนั้น หน้านี้เปิดกล่องให้ดูข้างใน: ASIC ที่ทำหน้าที่ฟอร์เวิร์ดและ SerDes ของมัน, วิธีที่เลนถูกจัดกลุ่มเป็นพอร์ต, สิ่งที่ซีพียูของเพลนควบคุมทำกับบัสสองสาย และไฟเลี้ยงกับความร้อนสำหรับออปติกมาจากไหน

แผนภาพบล็อกของสวิตช์: เคจที่แผงด้านหน้า, PHY และรีไทเมอร์, ASIC ที่ทำหน้าที่ฟอร์เวิร์ด, ซีพียูเพลนควบคุมพร้อม NOS, บัส I²C, ไฟเลี้ยงและพัดลม

สามเพลน

เพลนฮาร์ดแวร์ทำอะไรให้กับออปติก
เพลนข้อมูลASIC ที่ทำหน้าที่ฟอร์เวิร์ด (ซิลิคอนสำเร็จรูปอย่าง Broadcom Trident/Tomahawk, Marvell, Nvidia Spectrum หรือแบบกำหนดเองของผู้ผลิต), SerDes ของมัน, PHY/รีไทเมอร์ขับสัญญาณไฟฟ้าเข้าเลนเข้าสู่โมดูล, รัน PCS/FEC, MAC, การฟอร์เวิร์ด
เพลนควบคุมซีพียูอเนกประสงค์ที่รันระบบปฏิบัติการเครือข่ายอ่าน EEPROM ของโมดูลผ่าน I²C, ตรวจสอบข้อมูลระบุตัวตน, บังคับใช้นโยบาย, ตั้งค่าเลน, โพล DDM, ยกอะลาร์ม
เพลนจัดการEthernet/คอนโซลนอกแบนด์ บางครั้งมี BMCจุดที่คุณเห็นคำสั่ง show interface transceiver และ syslog

เพลนข้อมูลเร็วแต่โง่; เพลนควบคุมช้าแต่เป็นผู้ตัดสินใจ นี่คือเหตุผลที่โมดูลอาจสมบูรณ์แบบทางไฟฟ้าแต่ยังเป็น “unsupported” ได้: เพราะซีพียูตอบว่าไม่ (สิ่งที่โฮสต์ทำ)

SerDes และเลน

ทุกพอร์ตคือกลุ่มของเลน SerDesจาก ASIC อัตราเร็วต่อเลนของมันเป็นคุณสมบัติของรุ่นชิป:

รุ่น ASIC (โดยทั่วไป)เลน SerDesตัวเลือกพอร์ต
ยุค 1G1.25 GBdSFP 1G, RJ45
10G10.3 GBdSFP+; 4 เลน → QSFP+ 40G
25G25.78 GBd NRZSFP28; 4 เลน → QSFP28 100G; มักถอยกลับไปที่ 10G ได้
50G26.5 GBd PAM4SFP56; QSFP56 200G; 8 เลน → 400G (QSFP-DD/OSFP)
100G53.1 GBd PAM4QSFP112; 8 เลน → 800G
200G106 GBd PAM48 เลน → 1.6T (OSFP224, OSFP-XD ที่ 16 เลน)

โมดูลต้องการอัตราเร็วต่อเลนที่ SerDes ผลิตได้ พอร์ตที่มี SerDes แบบ 25G จะขับโมดูล 10G ได้ก็ต่อเมื่อ SerDes รองรับอัตราเร็วที่ต่ำกว่าด้วย (ส่วนใหญ่รองรับ); เลนแบบ 50G PAM4 ลดความเร็วลงเป็นเลน 25G NRZ ไม่ได้ในชิปบางตัว — จึงเป็นที่มาของ “พอร์ตนี้ไม่รองรับ 25G” (รุ่นของ Ethernet)

กลุ่มพอร์ตและข้อจำกัดด้านความเร็ว

SerDes ถูกจัดเป็นควอด (กลุ่มของสี่เลนที่ใช้สัญญาณนาฬิกา/PLL ร่วมกัน) ผลที่ตามมาคือ:

  • กลุ่มความเร็ว — บนแพลตฟอร์ม 25G จำนวนมาก พอร์ต SFP28 ทั้งสี่พอร์ตในควอดเดียวกันต้องรันที่ 10G ทั้งหมด หรือ 25G ทั้งหมด; การผสมกันจะถูกปฏิเสธหรือถูกลดระดับลงแบบเงียบ ๆ (ความเร็วและอัตรา)
  • เบรกเอาต์ — สี่เลนของพอร์ต QSFP จะกลายเป็นสี่พอร์ตได้ก็ต่อเมื่อ ASIC และการแมป PHY ของพอร์ตอนุญาตเท่านั้น; มักมีเพียงบางพอร์ต (หรือพอร์ตเว้นพอร์ต) ที่ทำเบรกเอาต์ได้ และการเปิดใช้เบรกเอาต์จะปิดพอร์ตข้างเคียงไปด้วย (การเดินสายเบรกเอาต์และ MPO)
  • FEC ต่อกลุ่มพอร์ต — บางครั้งโหมด FEC ก็ใช้ร่วมกันทั้งกลุ่ม
  • อัปลิงก์แบบโอเวอร์ซับสไครบ์ — บางดีไซน์มัลติเพล็กซ์เลนที่แผงด้านหน้ามากกว่าที่ ASIC มีจริง ทำให้ไม่ใช่ทุกพอร์ตจะรันเต็มความเร็วพร้อมกันได้

คู่มือฮาร์ดแวร์ของแพลตฟอร์มจะระบุกฎเหล่านี้แยกตามพอร์ต; กฎเหล่านี้ไม่ปรากฏให้เห็นในตัวโมดูล

PHY, รีไทเมอร์ และเกียร์บ็อกซ์บนบอร์ด

ระหว่าง ASIC กับเคจอาจมี PHY (สำหรับพอร์ต RJ45), รีไทเมอร์ (เพื่อฟื้นฟูสัญญาณบนลายวงจร PCB ที่ยาวในกล่องที่มีพอร์ตความหนาแน่นสูง), เกียร์บ็อกซ์ (เช่น เลน ASIC 2 × 50G ↔ เลนโมดูล 4 × 25G ในบางดีไซน์ 100G) หรือเอนจิน MACsec แต่ละตัวเพิ่มความหน่วงและข้อจำกัดด้านความเร็ว/FEC ของตัวเอง และแต่ละตัวก็เป็นอีกจุดหนึ่งที่เลนอาจถูกตั้งค่าผิดได้ พอร์ตจะ “เชื่อมตรงกับ ASIC” หรือไม่นั้นสำคัญสำหรับออปติกแบบ LPO ซึ่งต้องการตัวปรับความเท่าเทียมสัญญาณของ ASIC เองเพื่อไปให้ถึงโมดูล (การมอดูเลตและ DSP)

เพลนควบคุมและบัสสองสาย

  • ซีพียูเข้าถึง EEPROM ของโมดูลผ่านมัลติเพล็กเซอร์ I²C (หนึ่งบัสต่อพอร์ตหรือต่อกลุ่ม) มักผ่าน CPLD/FPGA ที่จัดการขาสัญญาณแจ้งการมีอยู่, LPMode, รีเซ็ต และอินเทอร์รัปต์ไปด้วย (อินเทอร์เฟซสองสาย)
  • การเริ่มทำงานเป็นลำดับขั้นทางซอฟต์แวร์: ตรวจจับ → อ่านข้อมูลระบุตัวตน → ตรวจสอบ → จ่ายไฟ → ตั้งค่าเลน → เปิดใช้งาน Tx → โพล DDM; แต่ละรุ่นของ NOS ทำตาม CMIS ได้ครบถ้วนไม่เท่ากัน (ปัญหาของ CMIS)
  • การโพล DDM ถูกกำหนดตารางเวลาโดยซีพียู — โดยทั่วไปทุกไม่กี่วินาทีถึงหนึ่งนาที; พอร์ตหลายร้อยพอร์ตใช้ซีพียูจัดการร่วมกันตัวเดียว ดังนั้นการโพลผ่าน SNMP อย่างหนักอาจทำให้มันช้าลงได้ (การอ่าน DDM ด้วยเครื่องมือ)
  • นโยบาย (ไวท์ลิสต์, errdisable, การข้ามการตรวจสอบสำหรับบุคคลที่สาม) เป็นโค้ดของเพลนควบคุมล้วน ๆ (วิธีที่ NOS แต่ละตัวตรวจสอบโมดูล)

ไฟเลี้ยงและการระบายความร้อนสำหรับออปติก

รายการค่าทั่วไปหมายเหตุ
3.3 V ต่อเคจจำกัดตามคลาส: 1.5 W (SFP+), 3.5–5 W (QSFP28), 12–15 W (QSFP-DD), 15–25 W ขึ้นไป (OSFP)เกินขีดจำกัด → โมดูลถูกกักไว้ที่กำลังต่ำ (กำลังไฟและความร้อน)
การไหลเวียนอากาศที่แผงด้านหน้าหน้า-ไปหลัง หรือ หลัง-ไปหน้าทิศทางฮีตซิงก์ของโมดูลไม่ตรงกัน หรือช่องดูดอากาศถูกกั้น ทำให้ออปติกร้อนเกิน
งบประมาณไฟรวมของออปติก32 × 12 W ≈ 0.4 kW บนกล่อง 400G; 64 × 16 W ≈ 1 kW บน 800Gคิดเป็นสัดส่วนที่มีนัยสำคัญของพิกัด PSU ของสวิตช์

บัฟเฟอร์, การฟอร์เวิร์ด และความเกี่ยวข้องกับออปติก

แทบไม่เกี่ยวข้องเลย — ยกเว้นว่าฟีเจอร์จัดการความแออัด (PFC, ECN) มีปฏิสัมพันธ์กับข้อผิดพลาดของลิงก์: พอร์ตที่ดรอปเฟรมเพราะ CRC จะดูเหมือนความแออัดในสายตาของสตอเรจและ RDMA (Ethernet แบบไม่สูญเสียข้อมูล) ความจุการฟอร์เวิร์ด (Tb/s), ขนาดบัฟเฟอร์ และขนาดตาราง เป็นตัวกำหนดบทบาทของสวิตช์ (บทบาทและโทโพโลยี) ไม่ใช่ออปติกของมัน

ซิลิคอนสำเร็จรูปเทียบกับซิลิคอนกำหนดเอง, NOS แบบเปิดเทียบกับแบบปิด

รูปแบบตัวอย่างผลที่ตามมาต่อออปติก
ASIC สำเร็จรูป + NOS ของผู้ผลิตสวิตช์องค์กรและ DC ส่วนใหญ่นโยบายของผู้ผลิตเป็นตัวตัดสินการรองรับออปติก; ข้อจำกัดฮาร์ดแวร์มาจาก ASIC
ASIC สำเร็จรูป + NOS แบบเปิดSONiC, Cumulus บนฮาร์ดแวร์ white-boxนโยบายมีน้อยมาก; คุณต้องรับผิดชอบการทดสอบความเข้ากันได้เอง
ASIC กำหนดเอง + NOS ของผู้ผลิตแพลตฟอร์มผู้ให้บริการโทรคมนาคมและ DC ระดับสูงบางส่วนการผนวกรวมแน่นหนา; มักมีการตรวจสอบที่เข้มงวดที่สุด

ภาพรวมของ NOS และพฤติกรรมด้านออปติกของแต่ละตัว: ระบบปฏิบัติการเครือข่าย

ใน CodingBox

การตัดสินใจของสวิตช์เกิดขึ้นจากไบต์ข้อมูลระบุตัวตนของโมดูล และนั่นคือสิ่งที่ CodingBox แสดงและแก้ไขได้: รหัสอัตราเร็วและแอปพลิเคชันที่ SerDes ต้องรองรับ, คลาสกำลังไฟเทียบกับเคจ, คอนเนกเตอร์และเทคโนโลยีสำหรับเส้นทาง PHY ของพอร์ต (Check transceiver, EEPROM editor)

กลุ่มเลนที่ SerDes ส่งต่อให้เคจ — SFI, 25GAUI, CAUI-4, 400GAUI-8, 800GAUI-8 — พร้อมจุดความสอดคล้อง C2M และการแมปเลน: XGMII, XAUI และตระกูล AUI; ลำดับขั้นทั้งหมดตั้งแต่ MII ถึง AUI: อินเทอร์เฟซอิสระจากสื่อกลาง

วิธีที่ชิ้นส่วนเหล่านี้ถูกประกอบเป็นผลิตภัณฑ์ — แบบตายตัว, แชสซีพร้อมไลน์การ์ดและแฟบริก, แบบสแตก, แบบอุตสาหกรรม, white-box — พร้อมทิศทางการไหลเวียนอากาศและความซ้ำซ้อน: คลาสและฟอร์มแฟกเตอร์ของสวิตช์; ชื่อเรียกของพอร์ตเมื่อกล่องถูกติดตั้งเข้าราง: การตั้งชื่อพอร์ตและไฟ LED


หากพบข้อมูลที่ไม่ถูกต้องหรือข้อผิดพลาดในบทความนี้ ให้เลือกข้อความส่วนนั้นแล้วกด Ctrl+Enter เพื่อ