SmartNIC และ DPU: ออปติกบนอะแดปเตอร์ที่โปรแกรมได้
Data processing unit (DPU) หรือ SmartNIC คือ NIC ที่มีโปรเซสเซอร์ หน่วยความจำ และระบบปฏิบัติการเป็นของตัวเอง อยู่คั่นระหว่างบัส PCIe ของเซิร์ฟเวอร์กับเครือข่าย สำหรับออปติกแล้วไม่มีอะไรเปลี่ยนแปลงที่เคจ ยังคงเป็นโมดูลและสาย QSFP56/QSFP112/OSFP แบบเดิม แต่ตัวที่อ่านโมดูล บังคับใช้นโยบาย และคอนฟิกความเร็วกับ FEC ตอนนี้กลายเป็นคอมพิวเตอร์ขนาดเล็กบนการ์ด ซึ่งมักรันสแตกแบบ Linux หรือคล้าย SONiC หน้านี้รวบรวมตระกูล DPU ปัจจุบันและพอร์ตของแต่ละตัว อธิบายว่าการจัดการโมดูลอยู่ที่ไหน และครอบคลุมผลกระทบเฉพาะด้านออปติก ได้แก่ กำลังไฟ การระบายความร้อน เคจแบบสองพอร์ต และแฟบริกส่วนแบ็กเอนด์ของ AI
ตระกูลและพอร์ต
| ตระกูล | รุ่น | พอร์ต | เคจ | PCIe ของโฮสต์ | คอร์ |
|---|---|---|---|---|---|
| Nvidia BlueField-2 | 2020 | 2 × 25/100G หรือ 1 × 200G | SFP56 / QSFP56 | Gen 4 x16 | 8 × Arm A72 |
| Nvidia BlueField-3 | 2023 | 2 × 200G หรือ 1 × 400G; รุ่น SuperNIC 400G | QSFP112 / OSFP | Gen 5 x16 | 16 × Arm A78 |
| Nvidia ConnectX-8 SuperNIC | 2024–25 | 1 × 800G หรือ 2 × 400G | OSFP (สองพอร์ต) / QSFP112 | Gen 6 x16 | (NIC + โปรแกรมได้แบบจำกัด) |
| AMD Pensando Elba / Giglio / Salina (400) | 2021–25 | 2 × 100/200G; 2 × 400G | QSFP56 / QSFP112 | Gen 4/5 x16 | 16 × Arm A72/N1 + ไปป์ไลน์ P4 |
| Intel IPU E2000 (Mount Evans) | 2022 | 2 × 100G (รวม 200G) | QSFP28/56 | Gen 4 x16 | 16 × Arm N1 + P4 |
| Marvell Octeon 10 DPU | 2022 | รวมสูงสุด 400G | QSFP-DD | Gen 5 | Arm N2 |
| Microsoft/Fungible, Napatech, Xilinx Alveo SN1000 | หลากหลาย | 2 × 100G | QSFP28 | — | FPGA / MIPS |
เคจและความเร็วของพอร์ตเป็นไปตามกฎเดียวกับ NIC ทั่วไป (พอร์ตและ PCIe ของ NIC)
การจัดการโมดูลอยู่ที่ไหน
| โหมด | ใครเป็นผู้อ่านโมดูล | เครื่องมือ |
|---|---|---|
| โหมด Embedded / DPU (ฝั่ง Arm เป็นเจ้าของพอร์ต) | OS ของ DPU เอง (Ubuntu/DOCA, SONiC-DASH, Linux ของผู้ผลิต) ผ่านไดรเวอร์ของมัน | ethtool -m, mlxlink ที่ฝั่ง Arm; โฮสต์เห็นเฉพาะฟังก์ชันเสมือน |
| โหมดแยกโฮสต์ / NIC | ไดรเวอร์ของโฮสต์ เหมือนบน ConnectX | ethtool, mlxlink ฝั่งโฮสต์ (เครื่องมือ NIC) |
| โหมดจำกัดสิทธิ์ | DPU เป็นผู้ควบคุม โฮสต์เปลี่ยนการตั้งค่าลิงก์ไม่ได้ | นโยบายถูกบังคับใช้ที่ DPU |
ผลที่ตามมาคือ การตั้งค่าเฟิร์มแวร์และลิงก์ (ความเร็ว, FEC, เบรกเอาต์) ถูกคอนฟิกไว้ที่ DPU (mlxconfig, เครื่องมือ DOCA, penctl ของ Pensando) และคงอยู่ข้ามการรีบูตโฮสต์ โมดูลที่ถูกปฏิเสธหรือถูกลดระดับโดย DPU จะไม่ปรากฏให้ผู้ดูแลโฮสต์เห็นจนกว่าจะอ่านล็อกของ DPU นโยบายโมดูลเองผ่อนปรนบน Nvidia และ AMD (แปลงค่า EEPROM ได้ทุกแบบ) เหมือนกับบน NIC ของค่ายเหล่านั้น (ความเข้ากันได้ของออปติกบน NIC)
กำลังไฟและการระบายความร้อน
| รายการ | สภาพจริงของ DPU |
|---|---|
| กำลังไฟของการ์ด | 75–150 W (BlueField-3 ประมาณ 150 W พร้อมคอนเนกเตอร์เสริม) — ตัวการ์ดเองร้อนกว่าโมดูลใด ๆ ที่อยู่บนมัน |
| งบประมาณของเคจ | เคจ QSFP112/OSFP ออกแบบไว้สำหรับโมดูล 15–20 W; ตรวจสอบสเปกของการ์ด |
| การไหลเวียนอากาศ | การ์ดแบบความสูงเต็มในเซิร์ฟเวอร์ GPU ใช้โซนลมร้อนร่วมกับ GPU; DDM ของโมดูลอ่านอุณหภูมิ 60–70 °C ถือว่าปกติ อะลาร์มที่ 75 ขึ้นไป (เกรดอุณหภูมิ) |
| OSFP สองพอร์ต | เคจ OSFP หนึ่งตัวรองรับ 2 × 400G; โมดูล (หรือ DAC/AOC แบบสองพอร์ต) เป็นอุปกรณ์ระดับ 800G ตัวเดียวที่มีฮีตซิงก์ของตัวเอง (OSFP) |
| การเลือกออปติก | ใช้ DAC เมื่อ ToR อยู่ภายใน 2 m นอกเหนือจากนั้นใช้ AOC หรือ 400G/800G DR/FR; รุ่น LPO ลดกำลังไฟของโมดูลบนลิงก์ระยะสั้น (กำลังไฟและการใช้พลังงาน) |
แฟบริกส่วนแบ็กเอนด์ของ AI
ในคลัสเตอร์ GPU, DPU หรือ SuperNIC หนึ่งตัวต่อ GPU หนึ่งตัวเชื่อมต่อไปยังแฟบริกส่วนแบ็กเอนด์ที่ปรับให้เหมาะกับเรล ไม่ว่าจะเป็น InfiniBand หรือ RoCE Ethernet (แฟบริกของ GPU):
| ลิงก์ | ออปติกทั่วไป |
|---|---|
| NDR 400G IB ต่อ GPU | OSFP สองพอร์ต 2 × 400G; DAC/ACC ≤ 3 m ไปยังลีฟของเรล, AOC 3–50 m, ไกลกว่านั้นใช้ออปติก DR4/SR4 (สายเคเบิล IB) |
| XDR 800G IB / 800G Ethernet ต่อ GPU | OSFP 800G สองพอร์ต, 2 × DR4 หรือ SR8 |
| Front-end / สตอเรจ | พอร์ต 100/200G แยกต่างหากบน DPU หรือ NIC ตัวที่สอง |
ข้อมูลระบุตัวตนและความยาวของสายถูกตรวจสอบโดยตัวจัดการแฟบริก เวอร์ชันเฟิร์มแวร์ของโมดูลก็เป็นส่วนหนึ่งของรายการวัสดุ (BOM) ที่ผ่านการรับรองของคลัสเตอร์ (การเดินสายคลัสเตอร์ AI, ความน่าเชื่อถือและการตรวจติดตามลิงก์)
SONiC และ P4 บนการ์ด
DPU ที่รัน SONiC-DASH หรือไปป์ไลน์ P4 ปฏิบัติต่อพอร์ตของตัวเองเหมือนสวิตช์ขนาดเล็ก คือ การแบ่งพอร์ต, FEC และความเร็วถูกตั้งไว้ในฐานข้อมูลคอนฟิกของ DPU และ EEPROM ของทรานซีฟเวอร์ปรากฏภายใต้คำสั่ง show interfaces transceiver แบบเดียวกับบนสวิตช์ SONiC (ภาพรวม NOS) พฤติกรรมต่อโมดูลของบุคคลที่สามเป็นไปตามปลั๊กอินของแพลตฟอร์ม ซึ่งผ่อนปรน
ใน CodingBox
โมดูลที่จะใช้กับ DPU ผ่านการรับรองเหมือนกับโมดูลสำหรับสวิตช์หรือ NIC คือ ฟอร์มแฟกเตอร์และความสอดคล้อง (QSFP112/OSFP, แอปพลิเคชัน 400G/800G ใน CMIS), คลาสกำลังไฟเทียบกับเคจ และเวอร์ชันเฟิร์มแวร์สำหรับ BOM ของคลัสเตอร์ ทั้งหมดนี้อ่านได้บนโต๊ะทดสอบก่อนที่การ์ดจะถูกติดตั้ง (Check transceiver, CMIS)