อินเทอร์คอนเนกต์และออปติกสำหรับ AI
คลัสเตอร์ AI เชื่อมต่อ GPU ด้วย InfiniBand หรือ Ethernet ความเร็วสูงอย่างใดอย่างหนึ่ง ทั้งสองแบบผลักดันให้ใช้ออปติกที่เป็นโมดูลเร็วที่สุดเท่าที่มีวางจำหน่ายจริง
InfiniBand เทียบกับ Ethernet (RoCE)
| InfiniBand | Ethernet + RoCE | |
|---|---|---|
| การควบคุมการไหล | ใช้เครดิต, ไม่สูญเสียแพ็กเก็ต | PFC/ECN, ไม่สูญเสียแพ็กเก็ต |
| RDMA | โดยกำเนิด | RoCEv2 |
| อัตราปัจจุบัน | NDR (400G) | 400G / 800G |
| ระบบนิเวศ | รากฐานจาก HPC | กว้างขวาง, หลายผู้ผลิต |
ทั้งสองเป็นตัวเลือกที่ใช้งานได้จริง; คลัสเตอร์ขนาดใหญ่จำนวนมากใช้ InfiniBand ขณะที่ Ethernet+RoCE กำลังเติบโตอย่างรวดเร็วสำหรับงาน AI ระดับใหญ่
อัตราความเร็วและโมดูล
- 400G — QSFP-DD หรือ OSFP สร้างจาก 4×100G หรือ 8×50G เลน
- 800G — OSFP หรือ QSFP-DD800 โดยทั่วไป 8×100G เลน
อัตราความเร็วและจำนวนเลนเป็นตัวกำหนดฟอร์มแฟกเตอร์; เจเนอเรชันของ InfiniBand และอัตราต่อเลนของแต่ละรุ่นอยู่ใน ความเร็วของ InfiniBand
ประเภทของระยะส่ง
ภายในแร็กเดียวกัน ออปติก DR/SR ระยะสั้น หรือสายเคเบิลต่อตรงและสายแอ็กทีฟครองส่วนใหญ่; ระหว่างแถวแร็ก ออปติกซิงเกิลโหมด FR/LR รับผิดชอบฮอประยะไกลกว่า ความหนาแน่นสูงหมายความว่าสวิตช์ตัวเดียวรองรับโมดูลเหล่านี้ได้หลายร้อยตัว
ไม่ว่าระยะส่งจะเป็นเท่าไร โมดูลเหล่านี้ล้วนมีหน่วยความจำที่จัดการตามมาตรฐานเดียวกัน — CodingBox อ่านข้อมูลระบุตัวตนและ DDM ของมันเพื่อตรวจสอบลิงก์ก่อนที่จะเข้าร่วมฟาบริก