GPU فیبرک ٹوپولوجیز

AI کلسٹر کا نیٹ ورک تہوں میں بنایا جاتا ہے، اور ہر تہہ مختلف انٹرکنیکٹس اور مختلف آپٹکس استعمال کرتی ہے۔ ان تہوں کو سمجھنے سے واضح ہوتا ہے کہ کلسٹر میں اتنے زیادہ ٹرانسیور کیوں ہوتے ہیں اور خراب ٹرانسیور کا اثر کہاں سب سے زیادہ پڑتا ہے۔

اسکیل اپ بمقابلہ اسکیل آؤٹ

پلگ ہونے والے ٹرانسیور زیادہ تر اسکیل آؤٹ تہہ میں ہوتے ہیں — ہر GPU سرور کے فیبرک کی سمت کئی 400G/800G پورٹس ہوتے ہیں، نیز الگ فرنٹ اینڈ/اسٹوریج نیٹ ورکنگ۔

فیٹ ٹری اور نان بلاکنگ

اسکیل آؤٹ فیبرک عموماً فیٹ ٹری (Clos) ہوتا ہے: لیف سوئچز سرورز کو جوڑتے ہیں، اسپائن سوئچز لیفز کو جوڑتے ہیں، اور لیف–اسپائن اپ لنکس اتنے ہوتے ہیں کہ ہر سرور کسی بھی دوسرے سرور سے پوری شرح پر بات کر سکے (نان بلاکنگ)۔ کلسٹر کی زیادہ تر آپٹکس یہی لیف–اسپائن اور سرور–لیف لنکس ہیں — یکساں DR4/DR8 ماڈیولز کے ہزاروں لنکس۔

ریل کے لیے بہتر بنایا گیا ڈیزائن

ٹریننگ ٹریفک پر مختلف سرورز میں ایک ہی رینک کے GPUs کے درمیان اجتماعی عملیات غالب ہوتے ہیں۔ ریل کے لیے بہتر ٹوپولوجی اس سے فائدہ اٹھاتی ہے: ہر سرور کا GPU 0 لیف سوئچ 0 سے، GPU 1 لیف 1 سے، اور یوں آگے جڑتا ہے؛ ایک ہی رینک کے GPUs ایک ہاپ کے فاصلے پر ہوتے ہیں اور اجتماعی عملیات کبھی اسپائن سے نہیں گزرتیں۔ آپٹکس کے لیے نتیجہ یہ ہے کہ ایک ریل کی خرابی ہر سرور میں GPU کی ایک پوزیشن کو متاثر کرتی ہے — ایسا نمونہ جسے پہچاننا مفید ہے۔

الگ نیٹ ورکس

کلسٹر عموماً کئی جسمانی طور پر الگ فیبرکس چلاتا ہے:

• کمپیوٹ فیبرک — GPU سے GPU (IB یا RoCE)، سب سے بڑا اور آپٹکس کا سب سے زیادہ استعمال کرنے والا۔
• اسٹوریج فیبرک — متوازی فائل سسٹمز اور آبجیکٹ اسٹوریج تک، عموماً Ethernet (اسٹوریج نیٹ ورکنگ)۔
• فرنٹ اینڈ / انتظام — صارف کی رسائی، آرکیسٹریشن، ٹیلی میٹری۔

ہر ایک کی اپنی آپٹکس انوینٹری اور اپنی وینڈر توثیق کے قواعد ہوتے ہیں۔

ایک خراب لنک اتنا اہم کیوں ہے

اجتماعی عمل اپنے سب سے سست شریک کی رفتار پر مکمل ہوتا ہے۔ خراب ہوتی ہوئی لین والا ایک ٹرانسیور — زیادہ FEC تصحیحات، کبھی کبھار دوبارہ ترسیل — ہر مرحلے کی آخری تاخیر بڑھاتا ہے اور پورے کلسٹر کی تھرو پٹ کا قابل پیمائش حصہ کم کر سکتا ہے۔ اسی لیے AI آپریٹرز پورے بیڑے میں ہر لین کے DDM کا رجحان دیکھتے اور آپٹکس کو پیشگی تبدیل کرتے ہیں (AI کلسٹروں میں ٹرانسیورز)۔

CodingBox میں

آپٹکس کو ریل میں لگانے سے پہلے بینچ پر اہل ٹھہرائیں: CMIS کے مطابق شناخت، DDM اسکرین پر ہر لین کی DDM بنیاد، اور Code database میں ریکارڈ، تاکہ ریل میں خرابیاں دکھائی دینے پر ماڈیول کی تاریخ دستیاب ہو۔

ان فیبرکس کے GPU سِرے پر اڈاپٹرز — BlueField، ConnectX-8 SuperNIC، Pensando — اور ان کی دو پورٹ والی OSFP آپٹکس: SmartNICs اور DPUs۔