GPU ফ্যাব্রিকের টপোলজি

AI ক্লাস্টারের নেটওয়ার্ক কয়েকটি স্তরে গড়া, এবং প্রতিটি স্তরে আলাদা ইন্টারকানেক্ট ও আলাদা অপটিক্স ব্যবহার হয়। স্তরগুলো বুঝলে বোঝা যায় কেন ক্লাস্টারে এত ট্রান্সিভার থাকে এবং কোথায় একটি খারাপ মডিউল সবচেয়ে বেশি ক্ষতি করে।

স্কেল-আপ বনাম স্কেল-আউট

	স্কেল-আপ	স্কেল-আউট
যা সংযুক্ত করে	একটি সার্ভার বা র‍্যাকের ভেতরের GPU	সার্ভারগুলোকে পরস্পরের সঙ্গে
প্রযুক্তি	মালিকানাধীন GPU-থেকে-GPU লিংক (যেমন NVLink/NVSwitch)	InfiniBand অথবা Ethernet/RoCE
মাধ্যম	কপার ব্যাকপ্লেন ও ক্যাবল, র‍্যাকের মধ্যে ক্রমশ অপটিক্স	প্লাগেবল অপটিক্স: 400G/800G OSFP, QSFP-DD
প্রতি GPU-র ব্যান্ডউইথ	সর্বোচ্চ	উচ্চ, ফ্যাব্রিকের সঙ্গে ভাগ করা

প্লাগেবল ট্রান্সিভার মূলত স্কেল-আউট স্তরে থাকে: প্রতিটি GPU সার্ভারে ফ্যাব্রিকের দিকে কয়েকটি 400G/800G পোর্ট থাকে, তার সঙ্গে আলাদা ফ্রন্ট-এন্ড/স্টোরেজ নেটওয়ার্কিং।

ফ্যাট-ট্রি ও নন-ব্লকিং

স্কেল-আউট ফ্যাব্রিক সাধারণত ফ্যাট-ট্রি (Clos) হয়: লিফ সুইচ সার্ভারগুলোকে যুক্ত করে, স্পাইন সুইচ লিফগুলোকে যুক্ত করে, আর লিফ–স্পাইন আপলিংক এতটা থাকে যে যেকোনো সার্ভার অন্য যেকোনো সার্ভারের সঙ্গে পূর্ণ গতিতে কথা বলতে পারে (নন-ব্লকিং)। ক্লাস্টারের বেশিরভাগ অপটিক্স এই লিফ–স্পাইন ও সার্ভার–লিফ লিংকে থাকে: হাজার হাজার অভিন্ন DR4/DR8 মডিউল।

রেল-অপ্টিমাইজড ডিজাইন

ট্রেনিং ট্রাফিকের বড় অংশ আসে বিভিন্ন সার্ভারের একই র‍্যাঙ্কের GPU-র মধ্যকার সমষ্টিগত অপারেশন (collectives) থেকে। রেল-অপ্টিমাইজড টপোলজি এটিকে কাজে লাগায়: প্রতিটি সার্ভারের GPU 0 লিফ সুইচ 0-এর সঙ্গে যুক্ত হয়, GPU 1 লিফ 1-এর সঙ্গে, এভাবে চলে; ফলে একই র‍্যাঙ্কের GPU-গুলো এক হপ দূরে থাকে এবং সমষ্টিগত অপারেশন (collectives) কখনো স্পাইন পার হয় না। অপটিক্সের জন্য এর পরিণতি: একটিমাত্র রেলের ত্রুটি প্রতিটি সার্ভারের একটি নির্দিষ্ট GPU অবস্থানকে প্রভাবিত করে, আর এই লক্ষণ চিনে রাখা ভালো।

আলাদা নেটওয়ার্ক

একটি ক্লাস্টারে সাধারণত কয়েকটি ভৌতভাবে আলাদা ফ্যাব্রিক চলে:

কম্পিউট ফ্যাব্রিক: GPU-থেকে-GPU (IB বা RoCE), সবচেয়ে বড় এবং সবচেয়ে বেশি অপটিক্স ব্যবহার করে।
স্টোরেজ ফ্যাব্রিক: প্যারালাল ফাইল সিস্টেম ও অবজেক্ট স্টোরেজের দিকে, প্রায়ই Ethernet (স্টোরেজ নেটওয়ার্কিং)।
ফ্রন্ট-এন্ড / ম্যানেজমেন্ট: ব্যবহারকারীর অ্যাক্সেস, অর্কেস্ট্রেশন, টেলিমেট্রি।

প্রতিটির নিজস্ব অপটিক্সের তালিকা এবং ভেন্ডর যাচাইয়ের নিজস্ব নিয়ম আছে।

একটি খারাপ লিংক কেন এত বেশি ক্ষতি করে

একটি সমষ্টিগত অপারেশন শেষ হয় তার সবচেয়ে ধীর অংশগ্রহণকারীর গতিতে। যে ট্রান্সিভারের একটি লেন খারাপ হচ্ছে (FEC সংশোধন বাড়ছে, মাঝেমধ্যে পুনঃপ্রেরণ হচ্ছে), সেটি প্রতিটি ধাপের টেইল ল্যাটেন্সি বাড়িয়ে দেয় এবং পুরো ক্লাস্টারের থ্রুপুটের পরিমাপযোগ্য একটি অংশ কমিয়ে দিতে পারে। এ কারণেই AI অপারেটররা সব মডিউল জুড়ে প্রতি লেনের DDM-এর ট্রেন্ড দেখেন এবং আগাম অপটিক্স বদলে ফেলেন (AI ক্লাস্টারে ট্রান্সিভার)।

CodingBox-এ

অপটিক্স রেলে বসানোর আগে টেস্ট বেঞ্চে যাচাই করুন: CMIS অনুযায়ী শনাক্তকরণ তথ্য, DDM স্ক্রিনে প্রতি লেনের DDM বেসলাইন, আর Code database-এ একটি রেকর্ড, যাতে কোনো রেলে ত্রুটি দেখা দিলে মডিউলের ইতিহাস হাতের কাছে থাকে।

এসব ফ্যাব্রিকের GPU-প্রান্তের অ্যাডাপ্টার (BlueField, ConnectX-8 SuperNIC, Pensando) এবং তাদের টুইন-পোর্ট OSFP অপটিক্স: SmartNIC ও DPU।

এই নিবন্ধে কোনো অশুদ্ধ তথ্য বা ভুল পেলে সংশ্লিষ্ট অংশটি নির্বাচন করুন এবং Ctrl+Enter চেপে ।