AI क्लस्टर की केबलिंग: संख्या, दूरी, माध्यम, QA

GPU क्लस्टर मुख्यतः केबल ही होता है। किसी नोड में आठ GPU का मतलब है आठ 400G (या 800G) स्केल-आउट लिंक, साथ ही मैनेजमेंट और स्टोरेज; एक हज़ार GPU का मतलब है दो या तीन स्विच टियर में फैले हज़ारों ऑप्टिकल सिरे, जिनमें से हर एक ट्रेनिंग रुक जाने की संभावित वजह है। यह पेज GPU फ़ैब्रिक के फ़ैब्रिक डिज़ाइन को केबल की गिनती, रीच क्लास, कनेक्टर के विकल्प और इंस्टॉलेशन चेकलिस्ट में बदलता है।

लिंक की गिनती

हर GPU पर एक 400G NIC वाले सामान्य 8-GPU नोड के लिए, रेल-ऑप्टिमाइज़्ड दो-टियर फ़ैब्रिक:

आइटम	फ़ॉर्मूला	1 024 GPU (128 नोड)
GPU-से-लीफ़ लिंक	GPUs × 1	1 024 × 400G
लीफ़-से-स्पाइन लिंक (नॉन-ब्लॉकिंग)	= GPU-से-लीफ़	1 024 × 400G
ऑप्टिकल/केबल के सिरे (हर लिंक पर दो)	लिंक × 2	4 096
स्टोरेज + मैनेजमेंट NIC	हर नोड पर 2–4	256–512 और लिंक
स्पेयर ऑप्टिक्स (3–5 %)	—	150–250

NDR ट्विन-पोर्ट स्विच मॉड्यूल (हर OSFP पर 2 × 400G) के साथ स्विच-साइड की गिनती मॉड्यूल में आधी हो जाती है, लेकिन फ़ाइबर में नहीं। थ्री-टियर डिज़ाइन हर 1 024 GPU पर 1 024 और स्पाइन-से-कोर लिंक जोड़ते हैं। इनमें से हर सिरा एक ट्रांसीवर या केबल प्लग है, जिसकी अपनी पहचान जानकारी और DDM होता है (लिंक विश्वसनीयता और मॉनिटरिंग)।

रेल-ऑप्टिमाइज़्ड लेआउट में दूरियाँ

सेगमेंट	सामान्य दूरी	मीडिया
GPU NIC → लीफ़, एक ही रैक	≤ 2 m	passive DAC (400G ≤ 2 m; 800G ≤ 1–1.5 m); सबसे सस्ता, ज़ीरो पावर, भारी
GPU NIC → लीफ़, आस-पास के रैक (rail ग्रुप पूरी पंक्ति में फैले होते हैं)	3–10 m	AEC (≤ 3–5 m) या MMF पर AOC / SR ट्रांसीवर
लीफ़ → स्पाइन, एक ही हॉल	10–100 m	~50–100 m तक AOC; OM4 पर ≤ 50–100 m SR4/SR8 / VR; SMF पर 500 m DR4/DR8; 400G+ पर DR आगे निकल रहा है
स्पाइन → कोर / हॉल के बीच	100 m – 2 km	DR4 / FR4 / 2×FR4 सिंगल-मोड
बिल्डिंग के बीच DCI	2–80 km	LR4, ZR/ZR+ (कोहेरेंट और लॉन्ग हॉल)

रेल-ऑप्टिमाइज़्ड केबलिंग हर नोड के GPU i को लीफ़ i पर रखती है, इसलिए एक नोड की आठ केबल आठ अलग-अलग लीफ़ तक फैलती हैं। ज़्यादातर GPU-से-लीफ़ लिंक रैक से बाहर जाते हैं, और DAC का हिस्सा क्लासिक ToR डिज़ाइन की तुलना में छोटा होता है। विवरण: केबल की आंतरिक संरचना।

कनेक्टर और फ़ाइबर के विकल्प

ऑप्टिक	कनेक्टर	फ़ाइबर	टिप्पणी
400G DR4 / 800G DR8	MPO-12 APC / MPO-16 APC (या 2 × MPO-12)	SMF, Base-8/Base-16	सिंगल-मोड पैरेलल पर हर जगह APC; पिन्ड मॉड्यूल, अनपिन्ड पैच कॉर्ड
400G/800G SR8 / VR8	MPO-16 UPC	OM4/OM5	50–100 m; सस्ते ऑप्टिक्स, प्रति मीटर महँगा फ़ाइबर
400G FR4 / 2×FR4	डुप्लेक्स LC / 2 × LC	SMF	कम फ़ाइबर, मॉड्यूल के अंदर WDM
NDR ट्विन-पोर्ट OSFP	2 × MPO-12 APC	SMF	हर मॉड्यूल में दो लॉजिकल पोर्ट; स्प्लिट केबल 1:2 / 1:4 (IB केबलिंग)
DAC / AEC	कोई नहीं	twinax	दोनों सिरों पर पहचान जानकारी

MPO ट्रंक के लिए सिरे से सिरे तक पोलैरिटी मेथड B; 4-लेन ऑप्टिक्स के लिए Base-8 ट्रंक (ब्रेकआउट और MPO केबलिंग)।

सिर्फ़ ऑप्टिक्स की पावर और गर्मी

ऑप्टिक	पावर	हर 64-पोर्ट स्विच पर
400G DR4 QSFP-DD	8–12 W	0.5–0.8 kW
800G DR8 / 2×FR4 OSFP	14–18 W	0.9–1.2 kW
400G AOC सिरा	3–5 W	—
800G AEC सिरा	4–6 W	—
DAC	0	—

इसलिए स्विच के फ़ेसप्लेट को बिना किसी रुकावट के आगे-से-पीछे एयरफ़्लो चाहिए; स्विच में फ़िन्ड OSFP, NIC में फ़्लैट-टॉप; केबल बंडल इनटेक को ब्लॉक नहीं करने चाहिए (पावर और थर्मल, तापमान और वोल्टेज)। जहाँ होस्ट इन्हें सपोर्ट करता है, वहाँ लीनियर (LPO) ऑप्टिक्स मॉड्यूल की पावर को लगभग आधा कर देते हैं (मॉड्युलेशन और DSP)।

इंस्टॉलेशन और QA चेकलिस्ट

हर ऑप्टिक और केबल सिरे का इनकमिंग इंस्पेक्शन: पहचान जानकारी, चेकसम, DDM सक्रिय है या नहीं, बेसलाइन सेव करना (मैन्युफ़ैक्चरिंग और टेस्टिंग)।
डिप्लॉयमेंट से पहले नए ऑप्टिक्स को ऑपरेटिंग तापमान पर 24–72 h तक बर्न-इन करें।
इंस्टॉलेशन के समय हर MPO का निरीक्षण करें और साफ़ करें (APC के लिए APC स्कोप टिप); बिना निरीक्षण किए किसी कनेक्टर को कभी न जोड़ें।
दोनों सिरों को लेबल करें: node/GPU/NIC ↔ leaf/port; हर लेग के अनुसार केबल स्प्लिट करें।
बेंड रेडियस और वज़न प्रबंधन: DAC/AEC के लिए ट्रे और बंडल, फ़ाइबर के लिए सर्विस लूप।
ब्रिंग-अप वेरिफ़िकेशन: हर लिंक पूरी स्पीड और चौड़ाई पर, FEC ऑन, प्रति-लेन Rx अपने साथियों के 2 dB के भीतर, आइडल पर pre-FEC BER < 10⁻⁷ (VDM और FEC मेट्रिक्स)।
प्रति-लेन DDM और पहचान जानकारी को बेसलाइन के रूप में fabric manager / CMDB में दर्ज करें।
मीडिया क्लास और कनेक्टर के अनुसार स्पेयर रखें; उन्हें बर्न-इन रखें।

आम इंस्टॉलेशन दोष

दोष	संकेत
APC DR4 पर UPC पैच	सभी लेन दोनों सिरों पर 3–10 dB कम
ग़लत पोलैरिटी ट्रंक	सभी लेन डार्क
गंदा MPO	एक या दो लेन कम; उन लेन पर pre-FEC BER ज़्यादा
होस्ट के लिए बहुत लंबा DAC	घटी हुई स्पीड पर लिंक या फ़्लैपिंग
स्प्लिट केबल का लेग बदल जाना	पोर्ट ग़लत पीयर से लिंक होते हैं; fabric manager में टोपोलॉजी मेल नहीं खाती
फ़्लैट केज में फ़िन्ड OSFP (या इसका उल्टा)	ठीक से नहीं बैठता / ओवरहीट होता है

CodingBox में

इस स्केल पर इनकमिंग इंस्पेक्शन एक वर्कफ़्लो है, स्पॉट-चेक नहीं: CodingBox हर मॉड्यूल या केबल सिरे को पढ़ता है, पहचान जानकारी और चेकसम की पुष्टि करता है, लाइव प्रति-लेन DDM को बेसलाइन के रूप में दर्ज करता है और उसे सीरियल नंबर के आधार पर code database में सहेजता है, ताकि बाद में किसी फ़्लैप करते पोर्ट से निकाले गए मॉड्यूल की तुलना उसकी पहले दिन की स्थिति से की जा सके।

अगर आपको इस सामग्री में कोई अशुद्धि या त्रुटि दिखे, तो संबंधित अंश चुनें और Ctrl+Enter दबाकर ।