ภาพรวมเครือข่ายสำหรับ AI

การเทรนโมเดล AI ขนาดใหญ่กระจายงานไปยัง GPU จำนวนมากบนเซิร์ฟเวอร์หลายเครื่อง เครือข่ายที่เชื่อมระหว่างกัน — ไม่ใช่ GPU ตัวใดตัวหนึ่ง — มักเป็นตัวกำหนดว่าคลัสเตอร์จะเทรนได้เร็วแค่ไหน นี่คือเหตุผลที่ฟาบริก AI พึ่งพาทรานซีฟเวอร์เชิงแสงที่มีแบนด์วิดท์สูงที่สุดเท่าที่จะหาได้

ทำไมเครือข่ายจึงสำคัญอย่างยิ่ง

• การดำเนินการแบบกลุ่ม — GPU แลกเปลี่ยนเกรเดียนต์และพารามิเตอร์กันตลอดเวลาในรูปแบบ all-to-all ทำให้เกิดทราฟฟิก east-west ปริมาณมาก
• เลเทนซีหางสำคัญมาก — แต่ละสเต็ปต้องรอลิงก์ที่ช้าที่สุด ดังนั้นเลเทนซีต่ำที่สม่ำเสมอและการส่งข้อมูลแบบไม่สูญเสียจึงจำเป็นอย่างยิ่ง
• สเกล — GPU นับพันตัวหมายถึงสวิตช์ที่หนาแน่นและมี radix สูง พร้อมจำนวนออปติกมหาศาล

สองรูปแบบของฟาบริก

• InfiniBand — ใช้งานมานานในวงการ HPC มี RDMA และการควบคุมการไหลแบบไม่สูญเสียแพ็กเก็ต (ดู InfiniBand)
• Ethernet ร่วมกับ RoCE — RDMA over Converged Ethernet ถูกใช้งานมากขึ้นเรื่อย ๆ สำหรับ AI ระดับใหญ่บน Ethernet แบบไม่สูญเสียแพ็กเก็ต

ออปติก

ลิงก์ AI โดยทั่วไปอยู่ที่ 400G และ 800G บนโมดูล QSFP-DD และ OSFP รายละเอียดตัวเลือกอินเตอร์คอนเนกต์และออปติกอยู่ใน อินเตอร์คอนเนกต์และออปติกของ AI

ฟอร์มแฟกเตอร์และหน่วยความจำที่ใช้จัดการเป็นชุดเดียวกันกับที่ใช้ทั่วไป — CodingBox อ่านโมดูลความเร็วสูงเหล่านี้เหมือนกับโมดูลทั่วไปเช่นกัน

อ่านเพิ่มเติม

• การเดินสายคลัสเตอร์ AI — จำนวนลิงก์ต่อ GPU, ระยะทางในการจัดวางแบบเรล, ส่วนผสมของ DAC/AEC/AOC/DR, ตัวเลือกคอนเนกเตอร์, กำลังไฟของออปติก, การประกันคุณภาพการติดตั้ง
• ความน่าเชื่อถือของลิงก์และการตรวจติดตามในฟาบริก AI — ทำไมลิงก์เดียวถึงทำให้งานหยุดชะงัก, เลขคณิตของ FIT, ตัวชี้วัดเชิงทำนาย, สถาปัตยกรรมการตรวจติดตาม, การแยกปัญหาและการป้องกัน