এক নজরে AI নেটওয়ার্কিং

বড় AI মডেল ট্রেনিংয়ে কাজ ছড়িয়ে দেওয়া হয় বহু সার্ভারের বহু GPU-র মধ্যে। ক্লাস্টার কত দ্রুত ট্রেনিং করতে পারে, তা প্রায়ই ঠিক করে দেয় সেগুলোর মধ্যকার নেটওয়ার্ক, কোনো একটি GPU নয়; এ কারণেই AI ফ্যাব্রিক সবচেয়ে বেশি ব্যান্ডউইথের অপটিক্যাল ট্রান্সিভারের ওপর নির্ভর করে।

নেটওয়ার্ক কেন নির্ণায়ক

সমষ্টিগত অপারেশন (collectives): GPU-গুলো অল-টু-অল ধাঁচে ক্রমাগত গ্রেডিয়েন্ট ও প্যারামিটার আদান-প্রদান করে, ফলে প্রচুর ইস্ট-ওয়েস্ট ট্রাফিক তৈরি হয়।
টেইল ল্যাটেন্সি বিবেচ্য: প্রতিটি ধাপ সবচেয়ে ধীর লিংকের জন্য অপেক্ষা করে, তাই স্থির ও কম ল্যাটেন্সি এবং লসলেস ডেলিভারি অপরিহার্য।
স্কেল: হাজার হাজার GPU মানে ঘন, হাই-রেডিক্স সুইচ এবং বিপুল সংখ্যক অপটিক্স।

দুই ধরনের ফ্যাব্রিক

InfiniBand: HPC-তে দীর্ঘদিন ধরে প্রতিষ্ঠিত; এতে RDMA ও লসলেস ফ্লো কন্ট্রোল আছে (দেখুন InfiniBand)।
RoCE-সহ Ethernet: কনভার্জড Ethernet-এর ওপর RDMA; লসলেস Ethernet-এর ওপর বৃহৎ পরিসরের AI-তে ক্রমশ বেশি ব্যবহৃত হচ্ছে।

অপটিক্স

AI লিংক সাধারণত 400G ও 800G হয়, QSFP-DD ও OSFP মডিউলে। ইন্টারকানেক্ট ও অপটিক্সের নির্দিষ্ট বাছাই আলোচিত হয়েছে AI ইন্টারকানেক্ট ও অপটিক্স পেজে।

একই ফর্ম ফ্যাক্টর ও ম্যানেজমেন্ট মেমোরি এখানেও প্রযোজ্য; CodingBox অন্য যেকোনো মডিউলের মতোই এই উচ্চ রেটের মডিউল পড়ে।

এক নজরে AI নেটওয়ার্কিং

নেটওয়ার্ক কেন নির্ণায়ক

দুই ধরনের ফ্যাব্রিক

অপটিক্স

আরও পড়ুন