โทโพโลยีของแฟบริก GPU

เครือข่ายของคลัสเตอร์ AI สร้างขึ้นเป็นชั้น ๆ และแต่ละชั้นใช้อินเตอร์คอนเนกต์ต่างกัน — รวมถึงออปติกต่างกันด้วย การเข้าใจแต่ละชั้นช่วยอธิบายได้ว่าทำไมคลัสเตอร์หนึ่งจึงมีทรานซีฟเวอร์มากมาย และจุดไหนที่ตัวเสียจะสร้างความเสียหายมากที่สุด

Scale-up เทียบกับ scale-out

ทรานซีฟเวอร์แบบถอดเสียบได้ส่วนใหญ่อยู่ในชั้น scale-out — เซิร์ฟเวอร์ GPU แต่ละตัวมีพอร์ต 400G/800G หลายพอร์ตเชื่อมไปยังฟาบริก บวกกับเครือข่าย front-end/สตอเรจแยกต่างหาก

Fat-tree และการไม่บล็อก

ฟาบริก scale-out ส่วนใหญ่เป็นแบบ fat-tree (Clos): สวิตช์ลีฟเชื่อมต่อเซิร์ฟเวอร์ สวิตช์สไปน์เชื่อมต่อลีฟเข้าด้วยกัน โดยมีอัปลิงก์ลีฟ–สไปน์มากพอที่เซิร์ฟเวอร์ตัวใดจะคุยกับตัวอื่นได้ที่อัตราเต็มความเร็ว (ไม่มีการบล็อก) ออปติกส่วนใหญ่ของคลัสเตอร์คือลิงก์ลีฟ–สไปน์และเซิร์ฟเวอร์–ลีฟเหล่านี้ — โมดูล DR4/DR8 แบบเดียวกันนับพันตัว

การออกแบบแบบเรล

ทราฟฟิกการเทรนถูกครอบงำโดยการดำเนินการแบบกลุ่มระหว่าง GPU ที่มีลำดับเดียวกันข้ามเซิร์ฟเวอร์ต่าง ๆ โทโพโลยีแบบเรลใช้ประโยชน์จากสิ่งนี้: GPU ตัวที่ 0 ของทุกเซิร์ฟเวอร์ต่อกับสวิตช์ลีฟตัวที่ 0, GPU ตัวที่ 1 ต่อกับลีฟตัวที่ 1 และเรื่อยไปตามลำดับ ทำให้ GPU ที่มีลำดับเดียวกันห่างกันแค่หนึ่งฮอป และการดำเนินการแบบกลุ่มไม่ต้องข้ามสไปน์เลย ผลที่ตามมาต่อออปติก: ความผิดพลาดบนเรลเดียวส่งผลต่อ GPU ตำแหน่งเดียวกันในทุกเซิร์ฟเวอร์ — รูปแบบที่ควรสังเกตให้ออก

เครือข่ายที่แยกจากกัน

คลัสเตอร์หนึ่งมักรันฟาบริกที่แยกจากกันทางกายภาพหลายชุด:

• ฟาบริกประมวลผล — GPU-ถึง-GPU (IB หรือ RoCE) ใหญ่ที่สุดและใช้ออปติกมากที่สุด
• ฟาบริกสตอเรจ — เชื่อมไปยังระบบไฟล์แบบขนานและอ็อบเจ็กต์สตอเรจ ส่วนใหญ่เป็น Ethernet (เครือข่ายสตอเรจ)
• Front-end / การจัดการ — การเข้าถึงของผู้ใช้, การออร์เคสเตรต, เทเลเมทรี

แต่ละฟาบริกมีคลังออปติกและกฎการตรวจสอบผู้ผลิตของตัวเอง

ทำไมลิงก์เสียเพียงเส้นเดียวจึงส่งผลมาก

การดำเนินการแบบกลุ่มหนึ่งครั้งจะเสร็จตามความเร็วของผู้ร่วมงานที่ช้าที่สุด ทรานซีฟเวอร์ตัวเดียวที่มีเลนกำลังเสื่อมสภาพ — การแก้ไขของ FEC ที่สูงขึ้น, การส่งซ้ำเป็นครั้งคราว — จะยืดเลเทนซีหางของทุกขั้นตอนออกไป และอาจทำให้ทรูพุตของทั้งคลัสเตอร์ลดลงในสัดส่วนที่วัดได้ นี่คือเหตุผลที่ผู้ให้บริการ AI ติดตามแนวโน้ม DDM รายเลนทั่วทั้งฟลีต และเปลี่ยนออปติกล่วงหน้าก่อนเสีย (ทรานซีฟเวอร์ในคลัสเตอร์ AI)

ใน CodingBox

ตรวจสอบคุณสมบัติออปติกบนโต๊ะทดสอบก่อนนำไปติดตั้งในเรล: ข้อมูลระบุตัวตนตาม CMIS, ค่าฐาน DDM รายเลนบนหน้าจอ DDM และบันทึกไว้ใน ฐานข้อมูลโค้ด เพื่อให้มีประวัติของโมดูลพร้อมใช้เมื่อเรลเริ่มแสดงข้อผิดพลาด

อะแดปเตอร์ที่ปลายฝั่ง GPU ของฟาบริกเหล่านี้ — BlueField, ConnectX-8 SuperNIC, Pensando — และออปติก OSFP สองพอร์ตในตัวเดียวของมัน: SmartNIC และ DPU