การเดินสายในคลัสเตอร์ AI: จำนวน ระยะทาง สื่อนำสัญญาณ และการตรวจรับ

คลัสเตอร์ GPU ส่วนใหญ่คือสายเคเบิล GPU แปดตัวในโหนดเดียวหมายถึงลิงก์ scale-out 400G (หรือ 800G) แปดเส้น บวกกับการจัดการและสตอเรจ; GPU หนึ่งพันตัวหมายถึงปลายออปติกหลายพันจุดกระจายอยู่ในสวิตช์สองหรือสามชั้น แต่ละจุดคือความเสี่ยงที่การเทรนจะสะดุด หน้านี้แปลงแบบฟาบริกจาก ฟาบริกของ GPU ให้เป็นจำนวนสาย คลาสระยะส่ง ตัวเลือกคอนเนกเตอร์ และเช็กลิสต์การติดตั้ง

การนับจำนวนลิงก์

สำหรับโหนดทั่วไปที่มี GPU 8 ตัว โดยมี NIC 400G หนึ่งตัวต่อ GPU หนึ่งตัว บนฟาบริกสองชั้นที่จัดสรรตามเรล:

รายการ	สูตร	GPU 1 024 ตัว (128 โหนด)
ลิงก์ GPU-ถึง-ลีฟ	GPU × 1	1 024 × 400G
ลิงก์ลีฟ-ถึง-สไปน์ (ไม่มีการบล็อก)	= GPU-ถึง-ลีฟ	1 024 × 400G
ปลาย ออปติก/สาย (สองต่อลิงก์)	ลิงก์ × 2	4 096
NIC สตอเรจ + การจัดการ	2–4 ต่อโหนด	ลิงก์เพิ่มอีก 256–512
ออปติกสำรอง (3–5 %)	—	150–250

เมื่อใช้โมดูลสวิตช์ NDR แบบสองพอร์ตในตัวเดียว (2 × 400G ต่อ OSFP หนึ่งตัว) จำนวนโมดูลฝั่งสวิตช์จะลดลงครึ่งหนึ่ง แต่จำนวนใยแก้วนำแสงไม่ลดลง การออกแบบสามชั้นเพิ่มลิงก์สไปน์-ถึง-คอร์อีก 1 024 เส้นต่อ GPU ทุก 1 024 ตัว ปลายทุกจุดเหล่านี้คือทรานซีฟเวอร์หรือปลั๊กสายที่มีข้อมูลระบุตัวตนและ DDM ของตัวเอง (ความน่าเชื่อถือของลิงก์และการตรวจติดตาม)

ระยะทางในการจัดวางแบบเรล

ส่วนของลิงก์	ระยะทางทั่วไป	สื่อนำสัญญาณ
GPU NIC → ลีฟ, แร็กเดียวกัน	≤ 2 m	DAC แบบพาสซีฟ (400G ≤ 2 m; 800G ≤ 1–1.5 m) — ถูกที่สุด, ไม่กินไฟ, หนัก
GPU NIC → ลีฟ, แร็กข้างเคียง (กลุ่มเรลครอบคลุมทั้งแถว)	3–10 m	AEC (≤ 3–5 m) หรือ AOC / ทรานซีฟเวอร์ SR บน MMF
ลีฟ → สไปน์, ห้องเดียวกัน	10–100 m	AOC ได้ถึง ~50–100 m; SR4/SR8 / VR บน OM4 ≤ 50–100 m; DR4/DR8 บน SMF 500 m — DR ได้รับความนิยมมากขึ้นที่ 400G ขึ้นไป
สไปน์ → คอร์ / ระหว่างห้อง	100 m – 2 km	DR4 / FR4 / 2×FR4 ซิงเกิลโหมด
DCI ระหว่างอาคาร	2–80 km	LR4, ZR/ZR+ (โคฮีเรนต์และลิงก์ระยะไกล)

การเดินสายแบบเรลจัดให้ GPU ตัวที่ i ของทุกโหนดต่อกับลีฟตัวที่ i ทำให้สายทั้งแปดเส้นของโหนดหนึ่งกระจายออกไปยังลีฟแปดตัวที่ต่างกัน — ลิงก์ GPU-ถึง-ลีฟส่วนใหญ่จึงออกจากแร็ก และสัดส่วนของ DAC ก็น้อยกว่าการออกแบบแบบ ToR ดั้งเดิม รายละเอียด: ส่วนประกอบภายในสาย

ตัวเลือกคอนเนกเตอร์และใยแก้วนำแสง

ออปติก	คอนเนกเตอร์	ใยแก้วนำแสง	หมายเหตุ
400G DR4 / 800G DR8	MPO-12 APC / MPO-16 APC (หรือ 2 × MPO-12)	SMF, Base-8/Base-16	APC ทุกจุดบนซิงเกิลโหมดแบบขนาน; โมดูลแบบมีพิน สายแพตช์คอร์ดแบบไม่มีพิน
400G/800G SR8 / VR8	MPO-16 UPC	OM4/OM5	50–100 m; ออปติกถูกกว่า, ใยแก้วนำแสงต่อเมตรแพงกว่า
400G FR4 / 2×FR4	LC ดูเพล็กซ์ / 2 × LC	SMF	ใช้ใยแก้วนำแสงน้อยกว่า, มี WDM อยู่ในโมดูล
NDR OSFP สองพอร์ตในตัวเดียว	2 × MPO-12 APC	SMF	สองพอร์ตเชิงตรรกะต่อโมดูล; สายแยก 1:2 / 1:4 (การเดินสาย IB)
DAC / AEC	ไม่มี	ทวินแอกซ์	ข้อมูลระบุตัวตนอยู่ทั้งสองปลาย

ใช้วิธีโพลาริตีแบบ B ตลอดทั้งเส้นทางสำหรับทรังก์ MPO; ทรังก์ Base-8 สำหรับออปติก 4 เลน (การเดินสายเบรกเอาต์และ MPO)

กำลังไฟและความร้อนของตัวออปติกเอง

ออปติก	กำลังไฟ	ต่อสวิตช์ 64 พอร์ต
400G DR4 QSFP-DD	8–12 W	0.5–0.8 kW
800G DR8 / 2×FR4 OSFP	14–18 W	0.9–1.2 kW
ปลาย AOC 400G	3–5 W	—
ปลาย AEC 800G	4–6 W	—
DAC	0	—

หน้าสวิตช์จึงต้องมีการไหลเวียนอากาศจากหน้าไปหลังโดยไม่มีสิ่งกีดขวาง; OSFP แบบมีครีบระบายความร้อนในสวิตช์ ส่วนแบบหลังแบนในการ์ด NIC; มัดสายต้องไม่บังช่องรับอากาศ (กำลังไฟและความร้อน, อุณหภูมิและแรงดันไฟ) ออปติกแบบเชิงเส้น (LPO) ลดกำลังไฟของโมดูลลงได้ราวครึ่งหนึ่งในโฮสต์ที่รองรับ (การมอดูเลตและ DSP)

เช็กลิสต์การติดตั้งและการประกันคุณภาพ

ตรวจรับเข้า ออปติกและปลายสายทุกจุด: ข้อมูลระบุตัวตน, เช็กซัม, DDM ทำงานปกติ, บันทึกค่าฐานไว้ (การผลิตและการทดสอบ)
เบิร์นอิน ออปติกใหม่ 24–72 h ที่อุณหภูมิใช้งานจริงก่อนนำไปติดตั้ง
ตรวจสอบและทำความสะอาด MPO ทุกตัว (ปลายกล้องส่องแบบ APC สำหรับคอนเนกเตอร์ APC) ตอนติดตั้ง; ห้ามเสียบคอนเนกเตอร์ที่ยังไม่ได้ตรวจสอบเข้าหากันโดยเด็ดขาด
ติดป้ายกำกับ ปลายทั้งสองด้าน: โหนด/GPU/NIC ↔ ลีฟ/พอร์ต; สายเบรกเอาต์ติดป้ายกำกับตามแต่ละสาขา
การจัดการรัศมีโค้งงอและน้ำหนัก — รางและมัดสายสำหรับ DAC/AEC, ห่วงสำรองความยาวสายสำหรับใยแก้วนำแสง
ตรวจสอบตอนเปิดใช้งานลิงก์: ทุกลิงก์วิ่งที่ความเร็วและความกว้างเต็มที่, เปิด FEC, Rx ต่อเลนต่างจากเลนข้างเคียงไม่เกิน 2 dB, pre-FEC BER < 10⁻⁷ ตอนไม่มีทราฟฟิก (ค่าตรวจวัด VDM และ FEC)
บันทึก DDM รายเลนและข้อมูลระบุตัวตนลงใน fabric manager / CMDB ไว้เป็นค่าฐาน
อะไหล่สำรอง แยกตามคลาสของสื่อนำสัญญาณและคอนเนกเตอร์; เก็บไว้ในสภาพเบิร์นอินแล้ว

ข้อผิดพลาดที่พบบ่อยระหว่างติดตั้ง

ข้อผิดพลาด	ลักษณะอาการ
ใช้แพตช์คอร์ด UPC กับ DR4 แบบ APC	ทุกเลนต่ำลง 3–10 dB ทั้งสองปลาย
ทรังก์โพลาริตีผิด	ทุกเลนไม่มีแสง
MPO สกปรก	หนึ่งหรือสองเลนต่ำ; pre-FEC BER สูงในเลนเหล่านั้น
DAC ยาวเกินกว่าที่โฮสต์รองรับ	ลิงก์วิ่งที่ความเร็วลดลงหรือกระพริบ
สลับสาขาของสายเบรกเอาต์ผิด	พอร์ตเชื่อมกับคู่ผิด; โทโพโลยีใน fabric manager ไม่ตรงกับความเป็นจริง
OSFP แบบมีครีบในเคจแบบแบน (หรือสลับกัน)	เสียบไม่เข้าที่ / ร้อนเกิน

ใน CodingBox

การตรวจรับเข้าในสเกลนี้คือเวิร์กโฟลว์ ไม่ใช่การสุ่มตรวจ: CodingBox อ่านโมดูลหรือปลายสายแต่ละจุด ตรวจสอบข้อมูลระบุตัวตนและเช็กซัม บันทึก DDM รายเลนแบบสดไว้เป็นค่าฐาน แล้วเก็บลงใน ฐานข้อมูลโค้ด โดยอ้างอิงกับหมายเลขซีเรียล เพื่อให้โมดูลที่ถูกถอดออกจากพอร์ตที่กระพริบในภายหลังนำมาเทียบกับสภาพวันแรกได้

หากพบข้อมูลที่ไม่ถูกต้องหรือข้อผิดพลาดในบทความนี้ ให้เลือกข้อความส่วนนั้นแล้วกด Ctrl+Enter เพื่อ