InfiniBand ফ্যাব্রিকের মূল বিষয়

ইনফিনিব্যান্ড ফ্যাব্রিক ইথারনেট নেটওয়ার্কের চেয়ে আলাদা আচরণ করে, আর লিংকের সমস্যা নির্ণয়ের সময় এই পার্থক্যগুলো বিবেচনায় রাখতে হয়। এই পেজে আছে অপটিক্স ইঞ্জিনিয়ারের সামনে আসা ধারণাগুলো: সাবনেট ম্যানেজার, লসলেস ফ্লো কন্ট্রোল, টপোলজি এবং খারাপ লিংক কীভাবে ধরা পড়ে।

সাবনেট ম্যানেজার

প্রতিটি IB সাবনেটে একটি সক্রিয় সাবনেট ম্যানেজার (SM) থাকে। সে সব পোর্ট ও সুইচ আবিষ্কার করে, লোকাল আইডেন্টিফায়ার (LID) বরাদ্দ করে, ফরওয়ার্ডিং টেবিল গণনা করে এবং প্রতিটি সুইচে তা প্রোগ্রাম করে দেয়। লিংক ফ্ল্যাপ করলে SM ফ্যাব্রিক নতুন করে সুইপ করে। তাই সীমার কিনারার একটি অপটিক্স শুধু একটি লিংক হারায় না, গোটা ফ্যাব্রিকে রি-রাউটিং ঘটনা ঘটায়, যা সবার নজরে আসে।

ক্রেডিটের মাধ্যমে লসলেস

স্বাভাবিক চলাচলে IB লিংক কখনো প্যাকেট ফেলে না: রিসিভার বাফার ক্রেডিট জানালে তবেই প্রেরক পাঠায়। তাই কনজেশনে প্যাকেট বাদ পড়ে না, বরং ব্যাক-প্রেশার তৈরি হয়; আর অবনতি হওয়া লিংক (সিম্বল এরর বাড়ছে, FEC সংশোধন বাড়ছে) তার ওপর নির্ভরশীল পুরো কাজকে ধীর করে দেয়। সমষ্টিগত অপারেশন (collectives) চালানোর সময় এটিই “একটি ধীর লিংক”-এর সমস্যা।

টপোলজি

ফ্যাট-ট্রি (Clos) হলো প্রচলিত কাঠামো: লিফ সুইচ হোস্টকে যুক্ত করে, স্পাইন সুইচ লিফগুলোকে যুক্ত করে, আর নন-ব্লকিং রাখার মতো যথেষ্ট আপলিংক থাকে। বেশির ভাগ লিংকই লিফ–স্পাইন অপটিক্স।
বৃহত্তম সিস্টেমে সুইচ ও ক্যাবল বাঁচাতে দেখা যায় Dragonfly+ এবং টোরাস-জাতীয় কাঠামো।
AI-এর জন্য রেল-অপ্টিমাইজড নকশায় প্রতিটি GPU-এর NIC ফ্যাব্রিকের আলাদা “রেলে” বসানো হয়, ফলে বিভিন্ন সার্ভারে একই র‍্যাঙ্কের GPU-গুলো এক হপ দূরে থাকে; দেখুন GPU ফ্যাব্রিক টপোলজি।

RDMA ও GPUDirect

অ্যাপ্লিকেশন RDMA ভার্ব ব্যবহার করে CPU-এর মাধ্যমে কপি না করেই এক নোডের মেমোরি থেকে অন্য নোডের মেমোরিতে ডেটা সরায়; GPUDirect RDMA এটিকে GPU মেমোরি পর্যন্ত বাড়ায়। ফলে ফ্যাব্রিকের ত্রুটি অ্যাপ্লিকেশনের কাছে ধরা পড়ে সমষ্টিগত অপারেশনে (collectives) থেমে যাওয়া বা টাইমআউট হিসেবে, অনেক সময় অপারেটর কোনো পোর্ট ডাউন দেখার বহু আগেই।

খারাপ লিংক দেখতে কেমন

ফ্যাব্রিকে লক্ষণ	যে ভৌত কারণ দেখতে হবে
একটি পোর্টে সিম্বল এরর / FEC-সংশোধিত ব্লক বাড়ছে	নোংরা MPO, সীমার কিনারার Rx পাওয়ার, অবনতি হতে থাকা লেন
লিংক কম উইডথ বা কম গতিতে আটকে আছে	FEC-এর অমিল, মডিউল প্রত্যাশিত রেট জানাচ্ছে না
পোর্টে “সমর্থিত নয়”, লিংক নেই	মডিউলের শনাক্তকরণ তথ্য চেনা যায়নি; ভেন্ডর লক
বারবার SM সুইপ	কোথাও একটি ফ্ল্যাপ করা লিংক আছে; প্রতি পোর্টের এরর কাউন্টার দেখে খুঁজে বের করুন

প্রচলিত ডায়াগনস্টিক ধাপক্রম অনুসরণ করুন: আগে লেভেল দেখুন, তারপর পরিষ্কার করুন, তারপর অংশ বদলান, সবশেষে ক্যাবল দেখুন।

CodingBox-এ

সন্দেহজনক IB মডিউল টেস্ট বেঞ্চে পড়ুন: DDM স্ক্রিনে প্রতি লেনের Rx/Tx ও বায়াস দেখে বোঝা যায় SR4/DR4 মডিউলের কোনো একটি লেন নষ্ট হতে বসেছে কি না, আর শনাক্তকরণ ফিল্ড দেখে বোঝা যায় ফ্যাব্রিক বদলি মডিউল গ্রহণ করবে কি না।

প্রোটোকল লেয়ার, কিউ পেয়ার ও সাবনেট ম্যানেজারের কাজের বিস্তারিত: IB প্রোটোকল ও ট্রান্সপোর্ট; প্রজন্ম ও পাল্লা অনুযায়ী ফ্যাব্রিকের ক্যাবলিং: IB ক্যাবলিং।

এই নিবন্ধে কোনো অশুদ্ধ তথ্য বা ভুল পেলে সংশ্লিষ্ট অংশটি নির্বাচন করুন এবং Ctrl+Enter চেপে ।