NIC পোর্ট, গতি ও PCIe ব্যান্ডউইথ · নেটওয়ার্ক ইন্টারফেস কার্ড · নেটওয়ার্ক কার্ড ও সুইচ · ডকুমেন্টেশন · CodingBox
CodingBox ডকুমেন্টেশন
লগ ইন সাইন আপ

NIC পোর্ট, গতি ও PCIe ব্যান্ডউইথ

NIC-এর সামনের প্যানেলে লেখা থাকে “2 × 100G”; সার্ভার সত্যিই 200 Gb/s সরাতে পারবে কি না, তা নির্ভর করে কার্ডের পেছনের PCIe স্লটের ওপর, আর কোনো মডিউল কাজ করবে কি না, তা নির্ভর করে কেজ ও কন্ট্রোলারের লেন ম্যাপের ওপর। সুইচেও ঠিক তা-ই, তবে পোর্ট কম, আর বাসের সামর্থ্য কম ধরে ফেলা সহজ। এই পেজে আছে NIC-তে পাওয়া কেজ ও গতি, ডুয়াল-রেট পোর্ট ও ব্রেকআউট ক্যাবলের নিয়ম, PCIe-এর হিসাব, OCP 3.0 ফর্ম ফ্যাক্টর, এবং কার্ডের অপটিক্সের ক্ষেত্রে যে পাওয়ার ও কুলিং সীমা গুরুত্ব পায়।

NIC-তে কেজ ও গতি

কেজNIC-তে দেখা যায় যেসব গতিসাধারণ কন্ট্রোলারমন্তব্য
SFP+10G (কিছুতে 1G)Intel X520/X710, Broadcom 5741x1G সমর্থন ভিন্ন ভিন্ন; কার্ডের স্পেসিফিকেশন দেখুন
SFP2825G, 10G (1G বিরল)Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P22525G-তে FEC মিলতে হয় (FEC ও AN)
SFP5650G, 25G, 10GConnectX-6 Lx/Dx (কিছু)PAM4 লেন
QSFP28100G, 4 × 25G, 2 × 50G, 40G, 4 × 10GIntel E810-CQDA2, ConnectX-5/6, Broadcom P2100ক্যাবলের মাধ্যমে ব্রেকআউট শুধু যেখানে কন্ট্রোলার অনুমতি দেয়
QSFP56200G, 100G, 2 × 100GConnectX-6 Dx/-7, Broadcom P2200, Pensando—
QSFP112400G, 200G, 100G, 4 × 100GConnectX-7, Broadcom P1400GDপ্রতি লেনে 100G; QSFP28/56 গ্রহণ করে
QSFP-DD400G, 2 × 200G, 4 × 100GBroadcom BCM57608—
OSFP (টুইন-পোর্ট)2 × 400G, 800GConnectX-7/-8, BlueField-3একটি কেজ, Nvidia-র টুইন-পোর্ট নকশায় দুটি লজিক্যাল পোর্ট
RJ451G / 10GBASE-T / মাল্টিগিগX550, X710-T, BCM57416মডিউল নেই, PHY কার্ডেই

কেজের সামঞ্জস্যের নিয়ম সুইচের নিয়মই (পোর্টের ধরন ও কেজ)।

ডুয়াল-রেট পোর্ট ও গতির গ্রুপ

  • বেশির ভাগ 25G NIC প্রতিটি পোর্টকে আলাদাভাবে 10G বা 25G-তে চালায়, কোনো কোয়াড গ্রুপিং ছাড়াই; তবে কয়েকটি ডুয়াল-পোর্ট কন্ট্রোলার একটি SerDes গ্রুপ ভাগ করে নেয় এবং দুই পোর্টেই একই গতি চাপিয়ে দেয়।
  • 100G কার্ড প্রায়ই 40G মডিউল সমর্থন করে; 200G/400G কার্ড সমর্থন করে 100G মডিউল; এক প্রজন্মের বেশি নিচে নামা (SFP28-এ 1G, QSA-এর মাধ্যমে QSFP56-এ 10G) কদাচিৎ সমর্থিত।
  • গতি সাধারণত মডিউলের কমপ্লায়েন্স কোড থেকে অটো ঠিক হয়; মডিউল ডুয়াল-রেট হলে বা শনাক্ত না হলে জোর করে নির্ধারণ (ethtool -s … speed) করতে হয় (টুল)।

NIC-তে ব্রেকআউট

ক্ষেত্রকাজ করে?
100G QSFP28 NIC পোর্ট → সুইচের দিকে 4 × 25G (DAC স্প্লিটার)শুধু যদি কন্ট্রোলার “4 × 25G পোর্ট স্প্লিট” মোড সমর্থন করে (Nvidia ও Broadcom-এর অনেক কার্ড করে, Intel-এর বেশির ভাগ করে না); তখন কার্ড 4টি নেটওয়ার্ক ডিভাইস দেখায়
সুইচের 100G পোর্ট → চারটি NIC SFP28 পোর্টে 4 × 25Gহ্যাঁ; এটিই প্রচলিত দিক, স্প্লিট কনফিগার করা হয় সুইচে (ব্রেকআউট ও MPO)
400G OSFP টুইন-পোর্ট → 2 × 400G বা 4 × 200G / 8 × 100GNvidia টুইন-পোর্ট কার্ড: প্রতি কেজে 2টি লজিক্যাল পোর্ট; আরও স্প্লিট করা নির্ভর করে ফার্মওয়্যারের ওপর
QSFP28 পোর্ট থেকে 2 × 50Gকিছু কন্ট্রোলারে

PCIe: পোর্টের আসল গতি

PCIe প্রজন্মপ্রতি লেনে (কাঁচা)x8-এ ব্যবহারযোগ্য (≈)x16-এ ব্যবহারযোগ্য (≈)
Gen 38 GT/s56–63 Gb/s112–126 Gb/s
Gen 416 GT/s112–126 Gb/s225–252 Gb/s
Gen 532 GT/s225–252 Gb/s450–504 Gb/s
Gen 664 GT/s~450–500 Gb/s~900–1 000 Gb/s

ব্যবহারযোগ্য থ্রুপুট এনকোডিং ও প্যাকেটের ওভারহেডের পর কাঁচা মানের 85–90 %। পোর্টের সঙ্গে লেন মেলান:

কার্ডপোর্টপ্রয়োজন
2 × 25G50 Gb/sGen 3 x8
2 × 100G200 Gb/sGen 4 x16 (Gen 3 x16 ~126-এ সীমায় পৌঁছে যায়)
1 × 200G / 2 × 100G Gen 4200 Gb/sGen 4 x16
2 × 200G400 Gb/sGen 5 x16
1 × 400G400 Gb/sGen 5 x16 (অথবা “সকেট ডাইরেক্ট”/মাল্টি-হোস্টের মাধ্যমে দুটি x16)
2 × 400G800 Gb/sGen 6 x16 অথবা দুটি Gen 5 x16

Gen 3 x8 স্লটে বসানো 2 × 100G কার্ড দুই পোর্টেই 100G-তে লিংক হয়, অথচ মোট পৌঁছে দেয় ~60 Gb/s। অপটিক্সে সমস্যা নেই, সমস্যা বাসে। নেগোশিয়েট হওয়া লিংকের প্রস্থ ও গতির জন্য lspci -vv (LnkSta) এবং BIOS-এর বাইফার্কেশন সেটিং দেখুন।

OCP NIC 3.0

বিষয়SFF (ছোট ফর্ম ফ্যাক্টর)LFF (বড়)
আকার76 × 115 mm139 × 115 mm
PCIex16 পর্যন্তx32 পর্যন্ত (দুটি x16)
পাওয়ার80 W পর্যন্ত150 W পর্যন্ত
পোর্ট2–4 × SFP28/QSFP28/QSFP56/QSFP1122 × QSFP-DD/OSFP বা আরও বেশি
অপটিক্সে নাগালমডিউলের সামনের দিকে, টুল ছাড়াইএকই

OCP কার্ড বসে সার্ভারের পেছনে, নিজস্ব এয়ারফ্লো চ্যানেলসহ; মডিউলের কুলিং সাধারণত GPU-এর মাঝখানে গুঁজে রাখা PCIe কার্ডের চেয়ে ভালো।

কার্ডে অপটিক্সের পাওয়ার ও কুলিং

বিষয়সীমা / নিয়ম
PCIe স্লটের পাওয়ার25 W (x1…x8 লো প্রোফাইল), 75 W (x16); 400G কার্ড 8-পিন অক্সিলিয়ারি কানেক্টর ব্যবহার করে
NIC-তে প্রতি কেজের বাজেটSFP28: 1.5 W (লেভেল II); QSFP28: 3.5–4.5 W; QSFP56/112: 5–8 W; QSFP-DD/OSFP: 12–20 W; কার্ডের ডেটাশিটে তা লেখা থাকে (পাওয়ার ও খরচ)
এয়ারফ্লোকার্ডের ওপর দিয়ে 200–300 LFM; CPU-এর এক্সহস্টের কাছে 1U সার্ভারে থাকা কার্ডের অপটিক্স গরম চলে, DDM তাপমাত্রা 60 °C-এর ওপরে থাকা সাধারণ
তাপীয় থ্রটলিংমডিউল উচ্চ তাপমাত্রা জানালে কিছু কন্ট্রোলার মডিউলকে লো পাওয়ারে নামিয়ে দেয় বা পোর্ট বন্ধ করে দেয়
NIC-তে কোহেরেন্ট / ZRসাধারণ NIC-তে সমর্থিত নয়; ক্লাস 8 কেজের বাজেট ছাড়িয়ে যায়

মাল্টি-হোস্ট ও সকেট ডাইরেক্ট

উচ্চ পর্যায়ের কার্ড নিজেকে দুটি CPU সকেটের সামনে (দুটি x8 বা x16 লিংক) অথবা একাধিক হোস্টের সামনে হাজির করতে পারে। অপটিক্যাল দিকে কিছু বদলায় না; বিভাজনটা PCIe-তে। এটি প্রাসঙ্গিক Gen 4 প্ল্যাটফর্মে 400G-এর জন্য এবং সেই GPU সার্ভারের জন্য, যেখানে প্রতিটি GPU-এর NIC-কে নিজস্ব PCIe রুটে বসতে হয়।

অপটিক্সের জন্য NIC কেনার আগের চেকলিস্ট

  1. কেজের ধরন এবং সেই কেজে কন্ট্রোলার যে গতিগুলো সমর্থন করে।
  2. লক্ষ্য স্লটের PCIe প্রজন্ম ও লেন, পোর্টের মোট ব্যান্ডউইথের বিপরীতে।
  3. ব্রেকআউট লাগবে কি? তাহলে কন্ট্রোলারকে পোর্ট স্প্লিট সমর্থন করতে হবে।
  4. ড্রাইভারের মডিউল নীতি (NIC-তে অপটিক্সের সামঞ্জস্য)।
  5. পরিকল্পিত মডিউলের বিপরীতে কেজের পাওয়ার বাজেট; অক্সিলিয়ারি পাওয়ার কানেক্টর আছে কি না।
  6. চ্যাসিসের ওই অবস্থানে এয়ারফ্লো; ভালো কুলিংয়ের জন্য OCP 3.0 বিবেচনা করুন।
  7. FEC মোড ও গতি জোর করে নির্ধারণের জন্য OS/ড্রাইভারের সমর্থন।

CodingBox-এ

মডিউলের কমপ্লায়েন্স কোড ও পাওয়ার ক্লাস থেকে বোঝা যায়, সেটি NIC-এর কেজ ও গতির জন্য কাজ করবে কি না; CodingBox মডিউল বসানোর আগেই সেগুলো পড়ে, আর পোর্ট স্প্লিট ও PCIe-এর প্রশ্ন মেটে সার্ভারের দিকে (Check transceiver)।

এই নিবন্ধে কোনো অশুদ্ধ তথ্য বা ভুল পেলে সংশ্লিষ্ট অংশটি নির্বাচন করুন এবং Ctrl+Enter চেপে ।