NIC پورٹس، رفتاریں اور PCIe بینڈوڈتھ
NIC کے فرنٹ پینل پر "2 × 100G" لکھا ہو سکتا ہے، مگر سرور واقعی 200 Gb/s منتقل کر سکتا ہے یا نہیں، اس کا دارومدار کارڈ کے پیچھے موجود PCIe سلاٹ پر ہے۔ کسی مخصوص ماڈیول کا کام کرنا کیجز اور کنٹرولر کے لین نقشے پر منحصر ہے، بالکل سوئچ کی طرح، مگر کم پورٹس اور ایسی بس کے ساتھ جس کی گنجائش کم رکھنا آسان ہے۔ اس صفحے میں NICs پر ملنے والے کیجز اور رفتاریں، دوہری رفتار والی پورٹس اور بریک آؤٹ کیبلز کے اصول، PCIe حساب، OCP 3.0 فارم فیکٹر، اور کارڈز پر آپٹکس کے لیے اہم بجلی اور کولنگ کی حدیں شامل ہیں۔
NICs پر کیجز اور رفتاریں
| کیج | NICs پر دستیاب رفتاریں | عام کنٹرولرز | نوٹس |
|---|---|---|---|
| SFP+ | 10G (بعض میں 1G) | Intel X520/X710, Broadcom 5741x | 1G سپورٹ مختلف ہوتی ہے؛ کارڈ کی وضاحت دیکھیں |
| SFP28 | 25G, 10G (1G نایاب) | Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P225 | 25G کے لیے FEC معاہدہ درکار ہے (FEC اور AN) |
| SFP56 | 50G, 25G, 10G | ConnectX-6 Lx/Dx (بعض) | PAM4 لینز |
| QSFP28 | 100G, 4 × 25G, 2 × 50G, 40G, 4 × 10G | Intel E810-CQDA2, ConnectX-5/6, Broadcom P2100 | صرف وہاں کیبل کے ذریعے بریک آؤٹ جہاں کنٹرولر اجازت دے |
| QSFP56 | 200G, 100G, 2 × 100G | ConnectX-6 Dx/-7, Broadcom P2200, Pensando | — |
| QSFP112 | 400G, 200G, 100G, 4 × 100G | ConnectX-7, Broadcom P1400GD | 100G فی لین؛ QSFP28/56 قبول کرتا ہے |
| QSFP-DD | 400G, 2 × 200G, 4 × 100G | Broadcom BCM57608 | — |
| OSFP (ٹوئن پورٹ) | 2 × 400G, 800G | ConnectX-7/-8, BlueField-3 | Nvidia کے ٹوئن پورٹ ڈیزائنوں میں ایک کیج، دو منطقی پورٹس |
| RJ45 | 1G / 10GBASE-T / mGig | X550, X710-T, BCM57416 | کوئی ماڈیول نہیں، کارڈ پر PHY |
کیج کی مطابقت کے اصول وہی ہیں جو سوئچ کے لیے ہیں (پورٹ اقسام اور کیجز)۔
دوہری رفتار والی پورٹس اور رفتار گروپس
- زیادہ تر 25G NICs ہر پورٹ کو 10G یا 25G پر آزادانہ چلاتے ہیں، بغیر کسی چار پورٹ گروپنگ کے، مگر چند دو پورٹ کنٹرولرز ایک SerDes گروپ شیئر کرتے ہیں اور دونوں پورٹس پر ایک ہی رفتار لازم کرتے ہیں۔
- 100G کارڈز اکثر 40G ماڈیولز کو سپورٹ کرتے ہیں؛ 200G/400G کارڈز 100G ماڈیولز کو سپورٹ کرتے ہیں؛ ایک سے زیادہ نسل نیچے جانا (SFP28 میں 1G، QSA کے ذریعے QSFP56 میں 10G) شاذ ہی سپورٹ ہوتا ہے۔
- رفتار عموماً ماڈیول کے مطابقتی کوڈز سے خودکار ہوتی ہے؛ ماڈیول دوہری رفتار والا یا ناقابل شناخت ہو تو زبردستی مقرر کرنا (
ethtool -s … speed) ضروری ہے (ٹولز)۔
NICs پر بریک آؤٹ
| صورت | کام کرتا ہے؟ |
|---|---|
| 100G QSFP28 NIC پورٹ → سوئچ تک 4 × 25G (DAC اسپلٹر) | صرف اگر کنٹرولر "4 × 25G port split" موڈ سپورٹ کرے (Nvidia اور Broadcom کے بہت سے کارڈ کرتے ہیں، زیادہ تر Intel نہیں)؛ پھر کارڈ 4 netdevs دکھاتا ہے |
| سوئچ 100G پورٹ → چار NIC SFP28 پورٹس تک 4 × 25G | ہاں، یہ عام سمت ہے؛ تقسیم سوئچ پر ترتیب دی جاتی ہے (بریک آؤٹ اور MPO) |
| 400G OSFP ٹوئن پورٹ → 2 × 400G یا 4 × 200G / 8 × 100G | Nvidia ٹوئن پورٹ کارڈز: فی کیج 2 منطقی پورٹس؛ مزید تقسیم فرم ویئر پر منحصر ہے |
| QSFP28 پورٹ سے 2 × 50G | بعض کنٹرولرز |
PCIe: اصل پورٹ رفتار
| PCIe نسل | فی لین (خام) | x8 قابل استعمال (≈) | x16 قابل استعمال (≈) |
|---|---|---|---|
| Gen 3 | 8 GT/s | 56–63 Gb/s | 112–126 Gb/s |
| Gen 4 | 16 GT/s | 112–126 Gb/s | 225–252 Gb/s |
| Gen 5 | 32 GT/s | 225–252 Gb/s | 450–504 Gb/s |
| Gen 6 | 64 GT/s | ~450–500 Gb/s | ~900–1 000 Gb/s |
انکوڈنگ اور پیکٹ اوورہیڈ کے بعد قابل استعمال تھرو پٹ خام مقدار کا 85–90 % ہوتا ہے۔ پورٹس کو لینز سے ملائیں:
| کارڈ | پورٹس | ضرورت |
|---|---|---|
| 2 × 25G | 50 Gb/s | Gen 3 x8 |
| 2 × 100G | 200 Gb/s | Gen 4 x16 (Gen 3 x16 تقریباً ~126 پر بھر جاتا ہے) |
| 1 × 200G / 2 × 100G Gen 4 | 200 Gb/s | Gen 4 x16 |
| 2 × 200G | 400 Gb/s | Gen 5 x16 |
| 1 × 400G | 400 Gb/s | Gen 5 x16 (یا "socket direct"/ملٹی ہوسٹ کے ذریعے دو x16) |
| 2 × 400G | 800 Gb/s | Gen 6 x16 یا دو Gen 5 x16 |
Gen 3 x8 سلاٹ میں موجود 2 × 100G کارڈ دونوں پورٹس پر 100G سے لنک بناتا ہے مگر کل تقریباً ~60 Gb/s دیتا ہے؛ آپٹکس درست ہیں، بس نہیں۔ طے شدہ لنک چوڑائی اور رفتار (LnkSta) کے لیے lspci -vv اور BIOS لین تقسیم کی ترتیبات دیکھیں۔
OCP NIC 3.0
| آئٹم | SFF (چھوٹا فارم فیکٹر) | LFF (بڑا) |
|---|---|---|
| سائز | 76 × 115 mm | 139 × 115 mm |
| PCIe | x16 تک | x32 تک (دو x16) |
| پاور | 80 W تک | 150 W تک |
| پورٹس | 2–4 × SFP28/QSFP28/QSFP56/QSFP112 | 2 × QSFP-DD/OSFP یا زیادہ |
| آپٹکس تک رسائی | ماڈیول کے سامنے سے، بغیر ٹول | وہی |
OCP کارڈز سرور کے عقب میں اپنے الگ ہوا کے بہاؤ کے چینل میں ہوتے ہیں؛ ماڈیول کی کولنگ عموماً GPUs کے درمیان دبا ہوا PCIe کارڈ ہونے کی نسبت بہتر ہوتی ہے۔
کارڈز پر آپٹکس کے لیے بجلی اور کولنگ
| آئٹم | حد / اصول |
|---|---|
| PCIe سلاٹ پاور | 25 W (x1…x8 کم اونچائی پروفائل)، 75 W (x16)؛ 400G کارڈز 8-پن معاون کنیکٹر استعمال کرتے ہیں |
| NICs پر فی کیج بجٹ | SFP28: 1.5 W (level II)؛ QSFP28: 3.5–4.5 W؛ QSFP56/112: 5–8 W؛ QSFP-DD/OSFP: 12–20 W — کارڈ کی ڈیٹا شیٹ اسے بتاتی ہے (پاور اور کھپت) |
| ہوا کا بہاؤ | کارڈ کے پار 200–300 LFM؛ CPU ایگزاسٹ کے قریب 1U سرور میں کارڈ پر موجود آپٹکس گرم چلتے ہیں — 60 °C سے اوپر DDM درجہ حرارت عام ہے |
| حرارتی تھروٹلنگ | بعض کنٹرولرز ماڈیول کے زیادہ درجہ حرارت کی اطلاع پر اسے کم پاور پر لے جاتے ہیں یا پورٹ بند کر دیتے ہیں |
| NICs پر کوہیرنٹ / ZR | معیاری NICs پر سپورٹ نہیں؛ کلاس 8 کیج بجٹ سے زیادہ ہے |
ملٹی ہوسٹ اور ساکٹ ڈائریکٹ
اعلیٰ درجے کے کارڈ خود کو دو CPU ساکٹس (دو x8 یا x16 لنکس) یا کئی ہوسٹس کے سامنے پیش کر سکتے ہیں۔ آپٹیکل حصہ تبدیل نہیں ہوتا؛ تقسیم PCIe میں ہوتی ہے۔ یہ Gen 4 پلیٹ فارمز پر 400G اور GPU سرورز کے لیے متعلق ہے، جہاں ہر GPU کا NIC اپنی PCIe روٹ پر ہونا چاہیے۔
آپٹکس کے لیے NIC خریدنے سے پہلے چیک لسٹ
- کیج کی قسم اور وہ رفتاریں جنہیں کنٹرولر اس کیج پر سپورٹ کرتا ہے۔
- ہدف سلاٹ میں PCIe نسل اور لینز بمقابلہ کل پورٹ بینڈوڈتھ۔
- بریک آؤٹ درکار ہے؟ کنٹرولر کو پورٹ تقسیم سپورٹ کرنا چاہیے۔
- ڈرائیور کی ماڈیول پالیسی (NICs پر آپٹکس کی مطابقت)۔
- منصوبہ شدہ ماڈیولز کے مقابلے میں کیج پاور بجٹ؛ معاون پاور کنیکٹر موجود ہو۔
- چیسس کی جگہ میں ہوا کا بہاؤ؛ بہتر کولنگ کے لیے OCP 3.0 پر غور کریں۔
- FEC موڈز اور رفتار زبردستی مقرر کرنے کے لیے OS/ڈرائیور سپورٹ۔
CodingBox میں
ماڈیول کے مطابقتی کوڈز اور پاور کلاس بتاتے ہیں کہ آیا وہ NIC کے کیج اور رفتار کے لیے موزوں ہے؛ CodingBox ماڈیول نصب ہونے سے پہلے انہیں پڑھتا ہے، جبکہ پورٹ تقسیم اور PCIe کے سوالات سرور کی طرف طے ہوتے ہیں (Check transceiver)۔