InfiniBand फ़ैब्रिक की बुनियादी बातें

InfiniBand फ़ैब्रिक कई मायनों में ईथरनेट नेटवर्क से अलग व्यवहार करता है, और ये फ़र्क़ तब मायने रखते हैं जब आप किसी लिंक का निदान कर रहे हों। यह पेज उन अवधारणाओं को कवर करता है जिनसे एक ऑप्टिक्स इंजीनियर का सामना होता है: सबनेट मैनेजर, लॉसलेस फ़्लो कंट्रोल, टोपोलॉजी और ख़राब लिंक कैसे नज़र आता है।

सबनेट मैनेजर

हर IB सबनेट में एक एक्टिव सबनेट मैनेजर (SM) होता है। यह सभी पोर्ट और स्विच की खोज करता है, लोकल आइडेंटिफ़ायर (LID) असाइन करता है, फ़ॉरवर्डिंग टेबल तैयार करता है और उन्हें हर स्विच में प्रोग्राम करता है। जब कोई लिंक फ़्लैप करता है, तो SM पूरे फ़ैब्रिक को फिर से स्वीप करता है — इसलिए एक मार्जिनल ऑप्टिक सिर्फ़ एक लिंक नहीं खोता, बल्कि पूरे फ़ैब्रिक में री-राउटिंग इवेंट शुरू कर देता है जो सबको दिखते हैं।

क्रेडिट के ज़रिए लॉसलेस

सामान्य ऑपरेशन में IB लिंक कभी पैकेट ड्रॉप नहीं करते: सेंडर तभी भेजता है जब रिसीवर ने बफ़र क्रेडिट की घोषणा की हो। इसलिए कंजेशन डिस्कार्ड करने के बजाय बैक-प्रेशर बनाता है, और एक घटता हुआ लिंक (बढ़ते सिंबल एरर, FEC करेक्शन) उस पूरे काम को धीमा कर देता है जो उस पर निर्भर है — सामूहिक संचालन (collectives) में यही “एक धीमा लिंक” वाली समस्या है।

टोपोलॉजी

• फ़ैट-ट्री (Clos) — मानक तरीक़ा: लीफ़ स्विच होस्ट को जोड़ते हैं, स्पाइन स्विच लीफ़ को जोड़ते हैं, और नॉन-ब्लॉकिंग बनाए रखने लायक़ पर्याप्त अपलिंक होते हैं। ज़्यादातर लिंक लीफ़-स्पाइन ऑप्टिक्स होते हैं।
• सबसे बड़े सिस्टम में स्विच और केबल बचाने के लिए Dragonfly+ और टोरस वैरिएंट दिखते हैं।
• AI के लिए रेल-ऑप्टिमाइज़्ड डिज़ाइन हर GPU के NIC को फ़ैब्रिक की अलग “रेल” पर रखते हैं, ताकि अलग-अलग सर्वर पर एक जैसी रैंक वाले GPU एक हॉप की दूरी पर हों — देखें GPU फ़ैब्रिक टोपोलॉजी।

RDMA और GPUDirect

एप्लिकेशन बिना CPU कॉपी के नोड मेमोरी के बीच डेटा ले जाने के लिए RDMA वर्ब इस्तेमाल करते हैं; GPUDirect RDMA इसे GPU मेमोरी तक बढ़ाता है। नतीजा यह है कि किसी फ़ैब्रिक फ़ॉल्ट का असर एप्लिकेशन को किसी सामूहिक संचालन (collective) में स्टॉल या टाइमआउट के तौर पर दिखता है, अक्सर ऑपरेटर को डाउन पोर्ट दिखने से बहुत पहले।

ख़राब लिंक कैसा दिखता है

सामान्य डायग्नोस्टिक सीढ़ी अपनाएँ: लेवल → सफ़ाई → बदलना → केबल।

CodingBox में

किसी संदिग्ध IB मॉड्यूल को बेंच पर पढ़ें: DDM स्क्रीन पर प्रति-लेन Rx/Tx और बायस से पता चलता है कि किसी SR4/DR4 मॉड्यूल की कोई एक लेन मर रही है या नहीं, और पहचान फ़ील्ड से पता चलता है कि फ़ैब्रिक किसी रिप्लेसमेंट को स्वीकार करेगा या नहीं।

प्रोटोकॉल लेयर, क्यू पेयर और सबनेट-मैनेजर के फ़ंक्शन विस्तार से: IB प्रोटोकॉल और ट्रांसपोर्ट; पीढ़ी और रीच के हिसाब से फ़ैब्रिक की केबलिंग: IB केबलिंग।