AI ক্লাস্টারের ক্যাবলিং: সংখ্যা, দূরত্ব, মাধ্যম, গ্রহণযোগ্যতা পরীক্ষা
GPU ক্লাস্টারের অধিকাংশই ক্যাবল। একটি নোডে আটটি GPU থাকলে আটটি 400G (বা 800G) স্কেল-আউট লিংক লাগে, তার সঙ্গে ম্যানেজমেন্ট ও স্টোরেজ; এক হাজার GPU মানে দুই বা তিন স্তরের সুইচ জুড়ে হাজার হাজার অপটিক্যাল প্রান্ত, যার প্রতিটিই ট্রেনিং থেমে যাওয়ার সম্ভাব্য কারণ। এই পেজ GPU ফ্যাব্রিক-এর ডিজাইনকে ক্যাবলের সংখ্যা, পাল্লার শ্রেণি, কানেক্টর বাছাই ও ইনস্টলেশন চেকলিস্টে রূপ দেয়।
লিংক গণনা
প্রতি GPU-র জন্য একটি 400G NIC-সহ সাধারণ 8-GPU নোড এবং রেল-অপ্টিমাইজড দুই স্তরের ফ্যাব্রিকের ক্ষেত্রে:
| বিষয় | সূত্র | 1 024 GPU (128 নোড) |
|---|---|---|
| GPU-থেকে-লিফ লিংক | GPU-র সংখ্যা × 1 | 1 024 × 400G |
| লিফ-থেকে-স্পাইন লিংক (নন-ব্লকিং) | = GPU-থেকে-লিফ | 1 024 × 400G |
| অপটিক্যাল/ক্যাবলের প্রান্ত (প্রতি লিংকে দুটি) | লিংক × 2 | 4 096 |
| স্টোরেজ + ম্যানেজমেন্ট NIC | প্রতি নোডে 2–4 | আরও 256–512 লিংক |
| অতিরিক্ত (স্পেয়ার) অপটিক্স (3–5 %) | — | 150–250 |
NDR টুইন-পোর্ট সুইচ মডিউল (প্রতি OSFP-তে 2 × 400G) ব্যবহার করলে সুইচের দিকে মডিউলের সংখ্যা অর্ধেক হয়, কিন্তু ফাইবারের সংখ্যা কমে না। তিন স্তরের ডিজাইনে প্রতি 1 024 GPU-তে স্পাইন-থেকে-কোর আরও 1 024টি লিংক যোগ হয়। এই প্রান্তগুলোর প্রতিটি একটি ট্রান্সিভার বা ক্যাবল প্লাগ, যার শনাক্তকরণ তথ্য ও DDM আছে (লিংকের নির্ভরযোগ্যতা ও মনিটরিং)।
রেল-অপ্টিমাইজড বিন্যাসে দূরত্ব
| অংশ | সাধারণ দূরত্ব | মাধ্যম |
|---|---|---|
| GPU NIC → লিফ, একই র্যাক | ≤ 2 m | প্যাসিভ DAC (400G ≤ 2 m; 800G ≤ 1–1.5 m); সবচেয়ে সস্তা, শূন্য বিদ্যুৎ খরচ, ভারী |
| GPU NIC → লিফ, পাশের র্যাক (রেল গ্রুপ একটি পুরো সারি জুড়ে থাকে) | 3–10 m | AEC (≤ 3–5 m) অথবা AOC / MMF-এর ওপর SR ট্রান্সিভার |
| লিফ → স্পাইন, একই হল | 10–100 m | AOC ~50–100 m পর্যন্ত; OM4-এ SR4/SR8 / VR ≤ 50–100 m; SMF-এ DR4/DR8 500 m; 400G ও তার বেশি গতিতে DR এগিয়ে আছে |
| স্পাইন → কোর / হলের মধ্যে | 100 m – 2 km | সিঙ্গেল-মোড DR4 / FR4 / 2×FR4 |
| ভবনের মধ্যে DCI | 2–80 km | LR4, ZR/ZR+ (কোহেরেন্ট ও দূরপাল্লা) |
রেল-অপ্টিমাইজড ক্যাবলিংয়ে প্রতিটি নোডের GPU i লিফ i-এর সঙ্গে যুক্ত হয়, ফলে একটি নোডের আটটি ক্যাবল আটটি আলাদা লিফে ছড়িয়ে পড়ে। তাই GPU-থেকে-লিফ লিংকের বেশিরভাগই র্যাকের বাইরে যায়, আর ক্লাসিক ToR ডিজাইনের তুলনায় DAC-এর অংশ কম থাকে। বিস্তারিত: ক্যাবলের ভেতরে।
কানেক্টর ও ফাইবার বাছাই
| অপটিক্স | কানেক্টর | ফাইবার | মন্তব্য |
|---|---|---|---|
| 400G DR4 / 800G DR8 | MPO-12 APC / MPO-16 APC (অথবা 2 × MPO-12) | SMF, Base-8/Base-16 | সিঙ্গেল-মোড প্যারালাল লিংকে সর্বত্র APC; মডিউলে পিনযুক্ত, প্যাচ কর্ডে পিনবিহীন |
| 400G/800G SR8 / VR8 | MPO-16 UPC | OM4/OM5 | 50–100 m; অপটিক্স সস্তা, প্রতি মিটারে ফাইবার বেশি দামি |
| 400G FR4 / 2×FR4 | ডুপ্লেক্স LC / 2 × LC | SMF | কম ফাইবার, মডিউলের ভেতরেই WDM |
| NDR টুইন-পোর্ট OSFP | 2 × MPO-12 APC | SMF | প্রতি মডিউলে দুটি লজিক্যাল পোর্ট; স্প্লিট ক্যাবল 1:2 / 1:4 (IB ক্যাবলিং) |
| DAC / AEC | নেই | টুইনঅ্যাক্স | দুই প্রান্তেই শনাক্তকরণ তথ্য থাকে |
MPO ট্রাঙ্কে প্রান্ত থেকে প্রান্ত পর্যন্ত পোলারিটি পদ্ধতি B; 4 লেনের অপটিক্সের জন্য Base-8 ট্রাঙ্ক (ব্রেকআউট ও MPO ক্যাবলিং)।
শুধু অপটিক্সের বিদ্যুৎ খরচ ও তাপ
| অপটিক্স | পাওয়ার | প্রতি 64-পোর্ট সুইচে |
|---|---|---|
| 400G DR4 QSFP-DD | 8–12 W | 0.5–0.8 kW |
| 800G DR8 / 2×FR4 OSFP | 14–18 W | 0.9–1.2 kW |
| 400G AOC-এর এক প্রান্ত | 3–5 W | — |
| 800G AEC-এর এক প্রান্ত | 4–6 W | — |
| DAC | 0 | — |
তাই সুইচের ফেসপ্লেটে সামনে থেকে পেছনে বাধাহীন এয়ারফ্লো দরকার; সুইচে ফিনযুক্ত OSFP, NIC-এ ফ্ল্যাট-টপ; ক্যাবল বান্ডল যেন বাতাস ঢোকার পথ আটকে না দেয় (পাওয়ার ও তাপ, তাপমাত্রা ও ভোল্টেজ)। হোস্ট সমর্থন করলে লিনিয়ার (LPO) অপটিক্স মডিউলের বিদ্যুৎ খরচ প্রায় অর্ধেক করে দেয় (মডুলেশন ও DSP)।
ইনস্টলেশন ও QA চেকলিস্ট
- প্রতিটি অপটিক্স ও ক্যাবলের প্রান্তের ইনকামিং পরিদর্শন: শনাক্তকরণ তথ্য, চেকসাম, DDM সচল কি না, বেসলাইন সংরক্ষণ (তৈরি ও পরীক্ষা)।
- নতুন অপটিক্স স্থাপনের আগে কার্যকর তাপমাত্রায় 24–72 h বার্ন-ইন করুন।
- ইনস্টলেশনের সময় প্রতিটি MPO পরিদর্শন ও পরিষ্কার করুন (APC-র জন্য APC স্কোপ টিপ); পরিদর্শন না করা কানেক্টর কখনো সংযুক্ত করবেন না।
- দুই প্রান্তে লেবেল লাগান: নোড/GPU/NIC ↔ লিফ/পোর্ট; স্প্লিট ক্যাবলের প্রতিটি শাখায় আলাদা লেবেল।
- বেন্ড রেডিয়াস ও ভার সামলানো: DAC/AEC-এর জন্য ট্রে ও বান্ডল, ফাইবারের জন্য সার্ভিস লুপ।
- চালুকরণের যাচাই: প্রতিটি লিংক পূর্ণ গতি ও প্রস্থে, FEC চালু, প্রতি লেনের Rx একই লিংকের অন্য লেনগুলোর 2 dB-এর মধ্যে, ট্রাফিকহীন অবস্থায় প্রি-FEC BER < 10⁻⁷ (VDM ও FEC মেট্রিক)।
- প্রতি লেনের DDM ও শনাক্তকরণ তথ্য বেসলাইন হিসেবে ফ্যাব্রিক ম্যানেজার / CMDB-তে নথিভুক্ত করুন।
- মাধ্যমের শ্রেণি ও কানেক্টর অনুযায়ী স্পেয়ার রাখুন; সেগুলোও বার্ন-ইন করা অবস্থায় রাখুন।
ইনস্টলেশনের সাধারণ ত্রুটি
| ত্রুটি | লক্ষণ |
|---|---|
| APC DR4-এ UPC প্যাচ | সব লেনে 3–10 dB কম, দুই প্রান্তেই |
| ভুল পোলারিটির ট্রাঙ্ক | সব লেনে আলো নেই |
| ময়লা MPO | এক বা দুটি লেনে কম পাওয়ার; ওই লেনগুলোতে প্রি-FEC BER বেশি |
| হোস্টের জন্য DAC খুব লম্বা | লিংক কম গতিতে চলে বা ফ্ল্যাপ করে |
| স্প্লিট ক্যাবলের শাখা অদলবদল | পোর্ট ভুল পিয়ারের সঙ্গে লিংক করে; ফ্যাব্রিক ম্যানেজারের টপোলজির সঙ্গে অমিল |
| ফ্ল্যাট কেজে ফিনযুক্ত OSFP (বা উল্টোটা) | বসে না / অতিরিক্ত গরম হয় |
CodingBox-এ
এই মাপের ইনকামিং পরিদর্শন একটি পূর্ণাঙ্গ ওয়ার্কফ্লো, শুধু নমুনা পরীক্ষা নয়: CodingBox প্রতিটি মডিউল বা ক্যাবলের প্রান্ত পড়ে, শনাক্তকরণ তথ্য ও চেকসাম যাচাই করে, লাইভ প্রতি লেনের DDM বেসলাইন হিসেবে রেকর্ড করে এবং সিরিয়াল নম্বরের বিপরীতে Code database-এ সংরক্ষণ করে; ফলে পরে ফ্ল্যাপ করা পোর্ট থেকে খুলে আনা মডিউলকে তার প্রথম দিনের অবস্থার সঙ্গে তুলনা করা যায়।