AI فیبرکس میں لنک بھروسا مندی اور نگرانی

تربیتی کام ہزاروں GPUs پر ہم وقت حساب ہے: ہر اجتماعی عمل سب سے سست لنک کا انتظار کرتا ہے۔ بار بار اوپر/نیچے ہونے والا ایک ٹرانسیور ایک سرور کو معمولی نہیں سست کرتا — وہ پورا کام روک دیتا ہے، اور مکمل طور پر ناکام ہونے پر کام آخری چیک پوائنٹ سے دوبارہ شروع ہوتا ہے۔ اس لیے آپٹکس محض جزو نہیں رہتیں بلکہ قابلِ اعتماد کارکردگی کا بجٹ بن جاتی ہیں۔ یہ صفحہ ناکامی کا حساب، خرابی کی پیش گوئی کرنے والے پیمانے، فیبرکس کا خراب لنکس کی نگرانی اور علیحدگی کا طریقہ، اور ناکامی کی شرح کم رکھنے والے عملی طریقے بیان کرتا ہے۔

ایک لنک کیوں اہم ہے

واقعہ	تربیتی کام پر اثر
لنک کا بار بار اوپر/نیچے ہونا (سیکنڈز)	اجتماعی عملیات کا وقت ختم ہوتا یا وہ دوبارہ کوشش کرتی ہیں؛ مرحلے کا وقت بڑھتا ہے؛ NCCL/RCCL کے ساتھ کافی طویل رکاوٹ کام منسوخ کر دیتی ہے
کم رفتار/چوڑائی پر لنک	ہر آل ریڈیوس اسی کی رفتار پر چلتا ہے؛ پورے کلسٹر کی تھرو پٹ اس لنک کے حصے تک گر جاتی ہے
pre-FEC BER بلند، مگر ناقابلِ تصحیح نہیں	ابھی کچھ نہیں — مگر مارجن ختم ہے؛ اگلی گرم دوپہر میں لنک اوپر/نیچے ہوگا
ناقابلِ تصحیح FEC خرابیاں	پیکٹ لاس → RDMA دوبارہ ترسیل کا طوفان → رکاوٹ
مکمل ناکامی	چیک پوائنٹ سے کام دوبارہ شروع: پورے کلسٹر میں منٹوں سے ایک گھنٹے تک کا ضائع شدہ کمپیوٹ

ہزار GPU والے کام میں چیک پوائنٹ سے دوبارہ شروع ہونے کی قیمت GPU-گھنٹوں میں ناپی جاتی ہے؛ بہتر آپٹکس اور بہتر QA کی قیمت سے اسی عدد کا موازنہ کرنا چاہیے۔

ناکامی کا حساب

ٹرانسیور کی قابلِ اعتماد کارکردگی FIT (ہر 10⁹ ڈیوائس-گھنٹوں پر ناکامیاں) یا MTBF میں بتائی جاتی ہے۔

مفروضہ	قدر
فیبرک میں آپٹیکل سرے	4 000 (1 024-GPU دو سطحی کلسٹر)
فی سرے FIT (پختہ 400G آپٹکس، اچھی طرح ٹھنڈی)	200–500
ہر ماہ متوقع مکمل ناکامیاں	4 000 × 350 × 10⁻⁹ × 720 h ≈ 1
عملی طور پر مشاہدہ شدہ لنک اوپر/نیچے شرح	مکمل ناکامیوں سے 5–20 × زیادہ — مٹی، کم مارجن، حرارت، فرم ویئر

اس طرح مکمل ناکامیاں کم اور قابلِ پیش گوئی ہیں؛ بار بار اوپر/نیچے ہونے والے اور کمزور لنکس غالب ہوتے ہیں اور زیادہ تر روکے جا سکتے ہیں — اسی لیے نگرانی اور QA اپنی قیمت پوری کرتے ہیں۔

خرابی کی پیش گوئی کرنے والے پیمانے

پیمانہ	ذریعہ	صحت مند	اقدام
ہر لین Pre-FEC BER	CMIS VDM؛ ہوسٹ FEC کاؤنٹرز	< 10⁻⁷	> 10⁻⁶ بڑھتا ہوا؛ > 10⁻⁵ تبدیلی طے کریں
FEC کے ناقابلِ تصحیح کوڈ ورڈز	ہوسٹ	0	کوئی بھی اضافہ = واقعہ
ہر لین کی سمبل خرابیاں	ہوسٹ (Ethernet) / `perfquery` (IB)	متوازن، تقریباً صفر	ایک لین غالب
بنیاد کے مقابل ہر لین کی Rx طاقت	DDM	پہلے دن سے 1 dB کے اندر، لینیں ایک دوسرے سے 2 dB کے اندر	بنیاد سے −2 dB
Tx بایس رجحان	DDM	ہموار	بنیاد سے +15–20 % (Tx بایس اور عمر رسیدگی)
ماڈیول درجۂ حرارت	DDM	< 60 °C	> 65 °C یا پڑوسیوں سے +10 °C
eSNR (CMIS)	VDM	> 18–20 dB	ایک لین پر گرتا ہوا
فی پورٹ لنک اوپر/نیچے	سوئچ لاگز، فیبرک مینیجر	0	کوئی بھی
طے شدہ رفتار/چوڑائی	سوئچ / `ibstat`	مکمل	مقررہ شرح سے کم

تعریفیں اور فارمیٹس: VDM اور FEC پیمانے، نگرانی۔

نگرانی کا آرکیٹیکچر

فیبرک	جمع آوری	آلات
InfiniBand	سب نیٹ/فیبرک مینیجر ہر پورٹ کے کاؤنٹرز اور کیبل EEPROM/DDM کو وقفے وقفے سے پڑھتا ہے	UFM درجے کے مینیجرز، `ibdiagnet`، `mlxlink -m`
Ethernet (RoCE)	ٹرانسیور اور FEC حالت کی 10–60 s پر gNMI/OpenConfig اسٹریمنگ؛ SNMP متبادل	gnmic → Prometheus/Grafana، وینڈر ٹیلی میٹری (آلات سے DDM پڑھنا)
ہوسٹ جانب	NIC کاؤنٹرز: دوبارہ ترسیل، CNPs، ترتیب سے باہر؛ ٹائم آؤٹس کے لیے NCCL/RCCL لاگز	نوڈ ایکسپورٹرز
کام جانب	مرحلے کے وقت کا تغیر، پیچھے رہ جانے والے کی شناخت	تربیتی فریم ورک کے پیمانے

تینوں کو باہم ملائیں: 14:05 پر مرحلے کے وقت کا اضافہ، 14:04 پر لیف 7 کی لین 3 میں pre-FEC BER کا انحراف اور ریک 12 میں ماڈیول کے درجۂ حرارت کی چوٹی، مکمل تشخیص ہے۔

علیحدگی اور تدارک

خودکار پورٹ غیر فعال کرنا / راستہ بدلنا جب ناقابلِ تصحیح خرابیاں یا لنک اوپر/نیچے ہونا حد سے بڑھ جائے — فیبرک مینیجرز اور NOS لنک-خرابی پالیسیاں سپورٹ کرتے ہیں؛ اس دوران موافق روٹنگ بہاؤ کو کمزور لنک سے ہٹا دیتی ہے۔
اگر اس کا NIC پورٹ قصوروار ہو تو نوڈ کو خالی کریں؛ کام اس کے گرد طے کریں۔
ماڈیول کو بینچ پر جانچیں: شناخت، پہلے دن کی بنیاد کے مقابل ہر لین کی DDM، چیک سم، فرم ویئر ورژن (Check transceiver، DDM)۔
ماڈیول کو الزام دینے سے پہلے دونوں طرف MPO کو صاف کریں اور دوبارہ معائنہ کریں — مٹی سب سے عام سبب ہے (جسمانی عدم مطابقتیں)۔
تبدیل کریں اور مشاہدہ کریں: خرابیاں ماڈیول کے ساتھ جائیں تو اسے RMA کریں؛ پورٹ کے ساتھ رہیں تو کیج، فائبر اور دور کے سرے کو دیکھیں۔

ناکامی کی شرح کم کرنے والے طریقے

طریقہ	اثر
آمد پر معائنہ اور برن اِن (لوڈ اور درجۂ حرارت میں 24–72 h)	کام تک پہنچنے سے پہلے ابتدائی ناکامیاں نکالتا ہے
پہلے دن ہر لین کی DDM کی بنیاد	مطلق درستگی (±3 dB) کو درست فرقوں میں بدلتی ہے
ماڈیولز کو < 60 °C پر رکھیں — ہوا کا بہاؤ، فِن/ہموار OSFP درست، داخلی راستے بند نہیں	ہر −10 °C پر عمر دوگنی
ہر کنیکٹر کو ہر بار جوڑنے پر صاف کریں؛ استعمال نہ ہونے والے پورٹس پر کیپس	لنک کے زیادہ تر اوپر/نیچے ہونے کی وجہ مٹی ہے
ماڈیولز اور ہوسٹس کے لیے فرم ویئر کی تازگی	CMIS باہمی عمل پذیری کی اصلاحات (CMIS مسائل)
ہر سطح کے لیے یکساں، توثیق شدہ آپٹکس	ہوسٹ/ماڈیول DSP باہمی عمل پذیری کی حیرانیاں کم
برن اِن شدہ اور بنیاد قائم شدہ اضافی ماڈیولز، 3–5 %	دوسرے واقعے کے بغیر تبدیلی
ہفتہ وار رجحان جائزہ	عمر رسیدہ لیزرز کو خرابی پر نہیں، شیڈول کے مطابق تبدیل کریں

ٹیکنالوجی کس سمت جا رہی ہے

زیادہ لین شرحیں (200G فی لین، 1.6T) مارجن کو مزید دباتی ہیں؛ خطی (LPO) اور کو پیکجڈ آپٹکس DSP اور اس کی نگرانی ہٹا دیتی ہیں — BER کی نمائش ہوسٹ کی طرف دھکیلتی ہیں — جبکہ کم اجزا اور کم حرارت کا وعدہ کرتی ہیں (ماڈیولیشن اور DSP، AI میں آپٹکس)۔ ماڈیول کچھ بھی ہو، ضابطہ وہی رہتا ہے: بنیاد قائم کریں، فرقوں کی نگرانی کریں، رجحانات پر عمل کریں۔

CodingBox میں

CodingBox اس چکر کا بینچ سرا ہے: آمد پر معائنہ اور برن اِن کی قراءتیں، پہلے دن کی ہر لین کی بنیادیں جو سیریل نمبر کے ذریعے Code database میں محفوظ ہوں، اور نکالے گئے ماڈیولز کی بعد از خرابی قراءتیں — شناخت، فرم ویئر، چیک سم اور DDM کا اپنی تاریخ سے موازنہ — تاکہ RMA کے فیصلے پورٹ کی آخری لاگ لائن کے بجائے ڈیٹا پر قائم ہوں۔

اگر آپ کو اس مضمون میں کوئی غلطی یا عدم درستی ملے تو متعلقہ حصہ منتخب کریں اور Ctrl+Enter دبا کر ۔