AI کلسٹر کی کیبلنگ: تعداد، فاصلے، میڈیا، QA

GPU کلسٹر زیادہ تر کیبلز پر مشتمل ہوتا ہے۔ ایک نوڈ میں آٹھ GPUs کا مطلب آٹھ 400G (یا 800G) اسکیل آؤٹ لنکس، نیز انتظام اور اسٹوریج ہے؛ ایک ہزار GPUs کا مطلب دو یا تین سوئچ سطحوں میں ہزاروں آپٹیکل سرے ہیں، اور ان میں سے ہر ایک کمپیوٹ کی تربیت رکنے کا ممکنہ سبب ہے۔ یہ صفحہ GPU فیبرکس کے انٹرکنیکٹ نیٹ ورک ڈیزائنوں کو کیبل کی گنتی، رینج کے درجوں، کنیکٹر کے انتخاب اور تنصیب کی جانچ فہرست میں تبدیل کرتا ہے۔

لنکس گننا

ایک 400G NIC فی GPU والے عام 8-GPU نوڈ اور ریل کے لیے بہتر دو سطحی فیبرک کے لیے:

جز	فارمولا	1 024 GPUs (128 نوڈز)
GPU سے لیف لنکس	GPUs × 1	1 024 × 400G
لیف سے اسپائن لنکس (نان بلاکنگ)	= GPU سے لیف	1 024 × 400G
آپٹیکل/کیبل سرے (ہر لنک پر دو)	لنکس × 2	4 096
اسٹوریج + انتظامی NICs	ہر نوڈ پر 2–4	مزید 256–512 لنکس
اضافی آپٹکس (3–5 %)	—	150–250

NDR دو پورٹ والے سوئچ ماڈیولز (ہر OSFP میں 2 × 400G) کے ساتھ سوئچ جانب کی گنتی ماڈیولز میں نصف ہو جاتی ہے، مگر فائبرز میں نہیں۔ تین سطحی ڈیزائن ہر 1 024 GPUs پر مزید 1 024 اسپائن سے کور لنکس شامل کرتے ہیں۔ ان میں سے ہر سرا شناخت اور DDM والا ٹرانسیور یا کیبل پلگ ہے (لنک کی قابلِ اعتماد کارکردگی اور نگرانی)۔

ریل کے لیے بہتر ترتیب میں فاصلے

قطعہ	عام فاصلہ	ذریعہ
GPU NIC → لیف، ایک ہی ریک	≤ 2 m	غیر فعال DAC (400G ≤ 2 m؛ 800G ≤ 1–1.5 m) — سب سے سستا، برقی طاقت نہیں لیتا، بھاری
GPU NIC → لیف، ملحقہ ریکس (ریل گروپ ایک قطار میں پھیلے ہوں)	3–10 m	AEC (≤ 3–5 m) یا AOC / MMF پر SR ٹرانسیورز
لیف → اسپائن، ایک ہی ہال	10–100 m	~50–100 m تک AOC؛ OM4 پر SR4/SR8 / VR ≤ 50–100 m؛ SMF پر DR4/DR8 500 m — 400G+ پر DR غالب آ رہا ہے
اسپائن → کور / ہالوں کے درمیان	100 m – 2 km	DR4 / FR4 / 2×FR4 سنگل موڈ
عمارتوں کے درمیان DCI	2–80 km	LR4، ZR/ZR+ (کوہیرنٹ اور طویل فاصلہ)

ریل کے لیے بہتر کیبلنگ ہر نوڈ کا GPU i، لیف i پر رکھتی ہے، اس لیے نوڈ کی آٹھ کیبلز آٹھ مختلف لیفز تک پھیلتی ہیں — زیادہ تر GPU سے لیف لنکس ریک سے باہر جاتے ہیں، اور DAC کا حصہ روایتی ToR ڈیزائنوں کے مقابل کم ہوتا ہے۔ تفصیل: کیبل کے اندرونی اجزا۔

کنیکٹر اور فائبر کے انتخاب

آپٹک	کنیکٹر	فائبر	نوٹس
400G DR4 / 800G DR8	MPO-12 APC / MPO-16 APC (یا 2 × MPO-12)	SMF، Base-8/Base-16	سنگل موڈ متوازی لنکس میں ہر جگہ APC؛ الائنمنٹ پن والے ماڈیولز، الائنمنٹ پن کے بغیر پیچ کورڈز
400G/800G SR8 / VR8	MPO-16 UPC	OM4/OM5	50–100 m؛ آپٹکس سستے، فی میٹر فائبر مہنگی
400G FR4 / 2×FR4	ڈوپلیکس LC / 2 × LC	SMF	فائبرز کم، ماڈیول کے اندر WDM
NDR دو پورٹ OSFP	2 × MPO-12 APC	SMF	ہر ماڈیول میں دو منطقی پورٹس؛ تقسیم کیبلز 1:2 / 1:4 (IB کیبلنگ)
DAC / AEC	کوئی نہیں	ٹوین ایکس	دونوں سروں پر شناخت

MPO ٹرنکس کے لیے سرے سے سرے تک پولیرٹی طریقہ B؛ 4-لین آپٹکس کے لیے Base-8 ٹرنکس (بریک آؤٹ اور MPO کیبلنگ)۔

صرف آپٹکس کی برقی طاقت اور حرارت

آپٹک	برقی طاقت	فی 64-پورٹ سوئچ
400G DR4 QSFP-DD	8–12 W	0.5–0.8 kW
800G DR8 / 2×FR4 OSFP	14–18 W	0.9–1.2 kW
400G AOC سرا	3–5 W	—
800G AEC سرا	4–6 W	—
DAC	0	—

اس لیے سوئچ فیس پلیٹس میں سامنے سے پیچھے تک بغیر رکاوٹ ہوا کا بہاؤ درکار ہے؛ سوئچز میں فِن والے OSFP، NICs میں ہموار اوپر والی سطح؛ کیبل گٹھے ہوا کے داخلی راستے کو بند نہیں کرنے چاہئیں (طاقت اور حرارت، درجۂ حرارت اور وولٹیج)۔ جہاں ہوسٹ سپورٹ کرے وہاں خطی (LPO) آپٹکس ماڈیول کی برقی طاقت تقریباً نصف کر دیتے ہیں (ماڈیولیشن اور DSP)۔

تنصیب اور QA کی جانچ فہرست

ہر آپٹک اور کیبل سرے کا آمد پر معائنہ: شناخت، چیک سم، فعال DDM، بنیاد محفوظ کریں (تیاری اور جانچ)۔
نئی آپٹکس کو تنصیب سے پہلے عملی درجۂ حرارت پر 24–72 h برن اِن کریں۔
تنصیب کے وقت ہر MPO کا معائنہ اور صفائی کریں (APC کے لیے APC مائیکروسکوپ اڈاپٹر)؛ بغیر معائنہ کنیکٹر کو کبھی نہ ملائیں۔
دونوں سروں کو لیبل کریں: نوڈ/GPU/NIC ↔ لیف/پورٹ؛ تقسیم کیبل کی ہر شاخ کے لحاظ سے۔
موڑ کا نصف قطر اور وزن کی نگہداشت — DAC/AEC کے لیے ٹرے اور گٹھے، فائبر کے لیے سروس لوپس۔
فعال کرنے کی تصدیق: ہر لنک پوری رفتار اور تمام فعال لینوں کی چوڑائی پر، FEC فعال، ہر لین کا Rx دوسری لینوں سے 2 dB کے اندر، غیر مصروف حالت میں pre-FEC BER < 10⁻⁷ (VDM اور FEC پیمانے)۔
بنیاد کے طور پر ہر لین کی DDM اور شناختیں فیبرک مینیجر / CMDB میں ریکارڈ کریں۔
ذرائع کے درجے اور کنیکٹر کے لحاظ سے اضافی ماڈیولز رکھیں؛ انہیں برن اِن شدہ رکھیں۔

تنصیب کی عام خرابیاں

خرابی	علامت
APC DR4 پر UPC پیچ	تمام لینیں دونوں سروں پر 3–10 dB کم
غلط پولیرٹی ٹرنک	تمام لینیں تاریک
گندا MPO	ایک یا دو لینیں کم؛ انہی لینوں پر pre-FEC BER زیادہ
ہوسٹ کے لیے DAC بہت طویل	لنک کم رفتار پر یا بار بار اوپر/نیچے ہوتا ہے
تقسیم کیبل کی شاخیں باہم بدل گئیں	پورٹس غلط ہم سرے سے لنک کرتے ہیں؛ فیبرک مینیجر کی ٹوپولوجی میں عدم مطابقت
ہموار کیج میں فِن والا OSFP (یا اس کے برعکس)	درست طور پر نہیں بیٹھتا / ضرورت سے زیادہ گرم ہوتا ہے

CodingBox میں

اس پیمانے پر آمد پر معائنہ محض نمونہ جانچ نہیں بلکہ ایک کام کا طریقہ ہے: CodingBox ہر ماڈیول یا کیبل سرے کو پڑھتا ہے، شناخت اور چیک سم کی توثیق کرتا ہے، موجودہ ہر لین کی DDM کو بنیاد کے طور پر ریکارڈ کرتا ہے اور اسے سیریل نمبر کے مقابل Code database میں محفوظ کرتا ہے، تاکہ بعد میں بار بار اوپر/نیچے ہونے والے پورٹ سے نکالا گیا ماڈیول اپنی پہلے دن کی حالت سے موازنہ کیا جا سکے۔

اگر آپ کو اس مضمون میں کوئی غلطی یا عدم درستی ملے تو متعلقہ حصہ منتخب کریں اور Ctrl+Enter دبا کر ۔