NIC ที่มีพอร์ตออปติคัล: ภาพรวม

ปลายอีกด้านของทุกลิงก์เซิร์ฟเวอร์คือการ์ดเครือข่าย (NIC) ซึ่งเล่นเกมเดียวกับสวิตช์ ได้แก่ เคจ, เลน SerDes, บัสจัดการไปยังโมดูล, นโยบายว่าจะยอมรับโมดูลใดบ้าง แต่มีสองจุดที่ต่างออกไป คือ นโยบายอยู่ในไดรเวอร์ ไม่ใช่ OS เครือข่าย และคอขวดมักอยู่ที่บัส PCIe ไม่ใช่ที่พอร์ต เนื้อหาส่วนนี้ครอบคลุม NIC ที่มีเคจระดับ SFP/QSFP ได้แก่ ตระกูลและผู้ผลิต ความสัมพันธ์ระหว่างพอร์ตกับ PCIe ความเข้ากันได้ของทรานซีฟเวอร์และการข้ามการตรวจสอบระดับไดรเวอร์ เครื่องมือที่อ่านโมดูลจากฝั่งเซิร์ฟเวอร์ และอะแดปเตอร์ที่โปรแกรมได้ (SmartNIC, DPU) ซึ่งทำให้เส้นแบ่งระหว่างการ์ดกับสวิตช์เลือนลาง

เส้นทางฝั่งเซิร์ฟเวอร์: CPU, PCIe, คอนโทรลเลอร์ NIC และไดรเวอร์, เคจ, โมดูลหรือ DAC, พอร์ตสวิตช์

NIC คืออะไร ในแง่ของออปติก

องค์ประกอบ	บนสวิตช์	บน NIC
เคจ	24–64 ต่อเครื่อง	1–4 ต่อการ์ด (โดยทั่วไป 1–2)
SerDes	ASIC สำหรับการส่งต่อข้อมูล	ASIC คอนโทรลเลอร์ของ NIC (Intel E810, Broadcom BCM57508, Nvidia ConnectX-7…)
การจัดการโมดูล	NOS ผ่าน I²C mux และ CPLD	ไดรเวอร์/เฟิร์มแวร์ผ่าน I²C ของคอนโทรลเลอร์
นโยบาย	ไวท์ลิสต์ของ NOS (แต่ละ NOS ตรวจสอบโมดูลอย่างไร)	ไวท์ลิสต์ของไดรเวอร์/เฟิร์มแวร์ (ความเข้ากันได้ของออปติกบน NIC)
คอนฟิกความเร็ว/FEC	CLI	`ethtool`, เครื่องมือของผู้ผลิต, BIOS/UEFI, ตัวจัดการอุปกรณ์ของ OS (เครื่องมือ)
แบ็กฮอล	ASIC ของแฟบริก	เลน PCIe ไปยัง CPU (พอร์ตและ PCIe)
ไฟเลี้ยง	3.3 V ต่อเคจจากแชสซี	สล็อต PCIe (25–75 W) บวกคอนเนกเตอร์เสริมบนการ์ดระดับสูง

ฟอร์มแฟกเตอร์ของการ์ด

ชนิดการ์ด	ที่ไหน	พอร์ต
การ์ดเสียบ PCIe (ความสูงครึ่ง/ความยาวครึ่ง, ความสูงเต็ม)	สล็อตใดก็ได้ของเซิร์ฟเวอร์	1–2 × SFP28/QSFP28, 1–2 × QSFP56/QSFP112/QSFP-DD/OSFP
OCP NIC 3.0 (มายเซนีน SFF / LFF)	สล็อต OCP ด้านหลังเซิร์ฟเวอร์	เคจแบบเดียวกัน เข้าถึงได้จากด้านหน้า ถอดเปลี่ยนได้ขณะทำงานในบางแชสซี
LOM / แบบฝังตัว	บนเมนบอร์ด	ปกติเป็น RJ45; บางรุ่นเป็น SFP+
มายเซนีน / เบลด	เซิร์ฟเวอร์แบบเบลด	เชื่อมต่อไปยังสวิตช์ของแชสซีเบลด ไม่มีเคจ
SmartNIC / DPU	PCIe หรือ OCP	2 × 100/200/400G, มีคอร์ Arm ของตัวเอง (SmartNIC และ DPU)

ตระกูลและผู้ผลิต

ผู้ผลิต	ตระกูล (รุ่นที่มีพอร์ตออปติคัล)	ความเร็ว	เคจ	ไดรเวอร์ (Linux)
Intel	X520 / X710 / XXV710 / E810 / E830	10G / 10G / 25G / 25–100G / 200G	SFP+, SFP28, QSFP28, QSFP56	ixgbe, i40e, ice, idpf
Nvidia (Mellanox)	ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC	25G / 100G / 100–200G / 25–50G / 200–400G / 800G	SFP28, QSFP28, QSFP56, QSFP112, OSFP	mlx5_core
Broadcom	NetXtreme-E BCM5741x / 5750x (P225, P425, P2100, P1400GD)	25G / 100–200G / 400G	SFP28, QSFP56, QSFP-DD	bnxt_en
Marvell (QLogic)	FastLinQ 41000 / 45000	10–25G / 100G	SFP28, QSFP28	qede
AMD (Solarflare, Pensando)	X2522 / X3522; Pensando DSC	10–25G; 100–200G	SFP28; QSFP56	sfc; ionic
Chelsio	T6	10–100G	SFP28, QSFP28	cxgb4
อื่น ๆ	Silicom, Napatech (FPGA), Xilinx/AMD Alveo, Netronome	10–100G	หลากหลาย	—

ความเร็วของแต่ละรุ่นการ์ดถูกกำหนดตายตัวโดยคอนโทรลเลอร์และเคจ คำว่า “รองรับ 25G” หมายถึง 10G และ 25G นาน ๆ ครั้งจะรวม 1G ด้วย (พอร์ตและ PCIe)

สิ่งที่ NIC ต้องการจากโมดูล

รหัสความสอดคล้อง สำหรับความเร็วที่คอนโทรลเลอร์รองรับบนเคจนั้น
ข้อมูลระบุตัวตนที่ไดรเวอร์ยอมรับ — ตระกูล Intel เป็นกลุ่มที่เข้มงวดที่สุด (ความเข้ากันได้ของออปติกบน NIC)
พฤติกรรม FEC/AN ที่ไดรเวอร์รองรับตรงกันได้ ได้แก่ DAC ที่ 25G ขึ้นไปต้องมี Clause 73 AN ทั้งสองด้าน ส่วนออปติกต้องบังคับความเร็วและให้ FEC ตรงกัน (FEC และการเจรจาอัตโนมัติ)
คลาสกำลังไฟ ที่อยู่ในงบประมาณของเคจบนการ์ด — NIC ส่วนใหญ่รองรับ QSFP28 คลาส 4 (3.5 W) และ QSFP-DD สูงสุด 12–15 W; ตรวจสอบเพิ่มเติมสำหรับโมดูล ZR/ปรับความยาวคลื่นได้ (กำลังไฟและการใช้พลังงาน)
การระบายความร้อน: การไหลเวียนอากาศของเซิร์ฟเวอร์ไหลผ่านการ์ดจากหน้าไปหลัง โมดูลบนการ์ดที่หันไปทางด้านหลังจะอยู่ในกระแสลมร้อนที่ระบายออก (เกรดอุณหภูมิ)

บทบาททั่วไปและออปติกที่ใช้

บทบาท	NIC	ลิงก์
โฮสต์เวอร์ชวลไลเซชันทั่วไป	2 × 25G SFP28	DAC ไปยัง ToR (บทบาทและโทโพโลยี)
สตอเรจ / NVMe-oF	2 × 100G QSFP28	DAC/AOC, RoCE พร้อม PFC (Ethernet แบบไม่สูญเสียแพ็กเก็ต)
เซิร์ฟเวอร์ GPU	4–8 × 400G OSFP/QSFP112 (หนึ่งต่อ GPU)	AOC/DR4 ไปยังลีฟของเรล (การเดินสายคลัสเตอร์ AI)
HPC	HCA ของ InfiniBand 1–2 × NDR/XDR	DAC/AOC (สายเคเบิล IB)
เอดจ์ / สาขา	2 × 10G SFP+	LR ไปยังคอร์ของแคมปัส
การจัดการ / OOB	1G RJ45 หรือ SFP	—

อ่านเพิ่มเติม

พอร์ต, ความเร็ว และแบนด์วิดท์ PCIe ของ NIC — เคจบน NIC, สองอัตราเร็ว, สายเบรกเอาต์, รุ่นของ PCIe × จำนวนเลนเทียบกับผลรวมของพอร์ต, OCP 3.0, กำลังไฟและการระบายความร้อน
ความเข้ากันได้ของทรานซีฟเวอร์บน NIC — ไวท์ลิสต์ของไดรเวอร์แยกตามผู้ผลิต, allow_unsupported_sfp ของ Intel, พฤติกรรมบน Windows/ESXi, FEC/AN กับ DAC และออปติก, สิ่งที่ต้องเขียนโค้ด
เครื่องมือ NIC และการวินิจฉัย — ethtool -m, mlxlink, bnxtnvm, เครื่องมือของ Intel, คำสั่งบน Windows และ ESXi, การอ่านค่า DDM และตัวนับ FEC จากเซิร์ฟเวอร์
SmartNIC และ DPU — BlueField, Pensando, IPU ได้แก่ พอร์ตและออปติกบนอะแดปเตอร์ที่โปรแกรมได้

ใน CodingBox

โมดูลที่ NIC ปฏิเสธวินิจฉัยด้วยวิธีเดียวกับที่สวิตช์ปฏิเสธ คือ อ่านข้อมูลระบุตัวตนและรหัสความสอดคล้องบนโต๊ะทดสอบ เทียบกับรายการของไดรเวอร์ แล้วเขียนโค้ดหากนโยบายต้องการ (Check transceiver, การล็อกผู้ผลิต)

หากพบข้อมูลที่ไม่ถูกต้องหรือข้อผิดพลาดในบทความนี้ ให้เลือกข้อความส่วนนั้นแล้วกด Ctrl+Enter เพื่อ