NIC पोर्ट, स्पीड और PCIe बैंडविड्थ
एक NIC का फ़्रंट पैनल “2 × 100G” का वादा करता है; क्या सर्वर वाक़ई 200 Gb/s मूव कर सकता है, यह कार्ड के पीछे मौजूद PCIe स्लॉट पर निर्भर करता है, और क्या कोई ख़ास मॉड्यूल काम करेगा, यह केज और कंट्रोलर के लेन मैप पर निर्भर करता है — बिल्कुल स्विच जैसा, बस पोर्ट कम होते हैं और एक ऐसी बस होती है जिसे अंडर-प्रोविज़न करना आसान है। यह पेज NIC पर मिलने वाले केज और स्पीड, ड्यूल-रेट पोर्ट और ब्रेकआउट केबल के नियम, PCIe का हिसाब-किताब, OCP 3.0 फ़ॉर्म फ़ैक्टर, और कार्ड पर ऑप्टिक्स के लिए मायने रखने वाली पावर और कूलिंग लिमिट लिस्ट करता है।
NIC पर केज और स्पीड
| केज | NIC पर दिखने वाली स्पीड | आम कंट्रोलर | नोट्स |
|---|---|---|---|
| SFP+ | 10G (कुछ पर 1G) | Intel X520/X710, Broadcom 5741x | 1G सपोर्ट अलग-अलग होता है; कार्ड का स्पेक जाँचें |
| SFP28 | 25G, 10G (1G दुर्लभ) | Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P225 | 25G को FEC एग्रीमेंट चाहिए (FEC और AN) |
| SFP56 | 50G, 25G, 10G | ConnectX-6 Lx/Dx (कुछ) | PAM4 लेन |
| QSFP28 | 100G, 4 × 25G, 2 × 50G, 40G, 4 × 10G | Intel E810-CQDA2, ConnectX-5/6, Broadcom P2100 | ब्रेकआउट केबल से सिर्फ़ वहाँ जहाँ कंट्रोलर इजाज़त दे |
| QSFP56 | 200G, 100G, 2 × 100G | ConnectX-6 Dx/-7, Broadcom P2200, Pensando | — |
| QSFP112 | 400G, 200G, 100G, 4 × 100G | ConnectX-7, Broadcom P1400GD | 100G/लेन; QSFP28/56 स्वीकार करता है |
| QSFP-DD | 400G, 2 × 200G, 4 × 100G | Broadcom BCM57608 | — |
| OSFP (ट्विन-पोर्ट) | 2 × 400G, 800G | ConnectX-7/-8, BlueField-3 | एक केज, Nvidia के ट्विन-पोर्ट डिज़ाइन पर दो लॉजिकल पोर्ट |
| RJ45 | 1G / 10GBASE-T / mGig | X550, X710-T, BCM57416 | कोई मॉड्यूल नहीं, कार्ड पर PHY |
केज कम्पैटिबिलिटी के नियम वही हैं जो स्विच के हैं (पोर्ट टाइप और केज)।
ड्यूल-रेट पोर्ट और स्पीड ग्रुप
- ज़्यादातर 25G NIC हर पोर्ट को अलग-अलग 10G या 25G पर चलाते हैं — कोई क्वाड ग्रुपिंग नहीं — लेकिन कुछ ड्यूल-पोर्ट कंट्रोलर एक SerDes ग्रुप शेयर करते हैं और दोनों पोर्ट पर एक जैसी स्पीड फ़ोर्स करते हैं।
- 100G कार्ड अक्सर 40G मॉड्यूल सपोर्ट करते हैं; 200G/400G कार्ड 100G मॉड्यूल सपोर्ट करते हैं; एक से ज़्यादा जनरेशन नीचे जाना (SFP28 में 1G, QSA के ज़रिए QSFP56 में 10G) शायद ही कभी सपोर्टेड होता है।
- स्पीड आमतौर पर मॉड्यूल के कंप्लायंस कोड से ऑटो तय होती है; फ़ोर्स करना (
ethtool -s … speed) तब ज़रूरी होता है जब मॉड्यूल ड्यूल-रेट हो या पहचाना न गया हो (टूल)।
NIC पर ब्रेकआउट
| केस | काम करता है? |
|---|---|
| 100G QSFP28 NIC पोर्ट → स्विच तक 4 × 25G (DAC स्प्लिटर) | सिर्फ़ तब जब कंट्रोलर “4 × 25G port split” मोड सपोर्ट करे (कई Nvidia और Broadcom कार्ड करते हैं, ज़्यादातर Intel नहीं करते); कार्ड तब 4 netdevs दिखाता है |
| स्विच का 100G पोर्ट → चार NIC SFP28 पोर्ट तक 4 × 25G | हाँ — यह आम दिशा है; स्प्लिट स्विच पर कॉन्फ़िगर होता है (ब्रेकआउट और MPO) |
| 400G OSFP ट्विन-पोर्ट → 2 × 400G या 4 × 200G / 8 × 100G | Nvidia के ट्विन-पोर्ट कार्ड: प्रति केज 2 लॉजिकल पोर्ट; आगे स्प्लिटिंग फ़र्मवेयर पर निर्भर |
| QSFP28 पोर्ट से 2 × 50G | कुछ कंट्रोलर |
PCIe: असली पोर्ट स्पीड
| PCIe जनरेशन | प्रति लेन (रॉ) | x8 यूज़ेबल (≈) | x16 यूज़ेबल (≈) |
|---|---|---|---|
| Gen 3 | 8 GT/s | 56–63 Gb/s | 112–126 Gb/s |
| Gen 4 | 16 GT/s | 112–126 Gb/s | 225–252 Gb/s |
| Gen 5 | 32 GT/s | 225–252 Gb/s | 450–504 Gb/s |
| Gen 6 | 64 GT/s | ~450–500 Gb/s | ~900–1 000 Gb/s |
यूज़ेबल थ्रूपुट एनकोडिंग और पैकेट ओवरहेड के बाद रॉ का 85–90 % होता है। पोर्ट को लेन से मैच करें:
| कार्ड | पोर्ट | ज़रूरत |
|---|---|---|
| 2 × 25G | 50 Gb/s | Gen 3 x8 |
| 2 × 100G | 200 Gb/s | Gen 4 x16 (Gen 3 x16 ~126 पर सैचुरेट हो जाता है) |
| 1 × 200G / 2 × 100G Gen 4 | 200 Gb/s | Gen 4 x16 |
| 2 × 200G | 400 Gb/s | Gen 5 x16 |
| 1 × 400G | 400 Gb/s | Gen 5 x16 (या “socket direct”/मल्टी-होस्ट के ज़रिए दो x16) |
| 2 × 400G | 800 Gb/s | Gen 6 x16 या दो Gen 5 x16 |
Gen 3 x8 स्लॉट में लगा 2 × 100G कार्ड दोनों पोर्ट पर 100G पर लिंक करता है और कुल ~60 Gb/s देता है — ऑप्टिक्स ठीक हैं, बस नहीं। नेगोशिएट की गई लिंक विड्थ और स्पीड (LnkSta) के लिए lspci -vv जाँचें, और BIOS बाइफ़रकेशन सेटिंग भी।
OCP NIC 3.0
| आइटम | SFF (स्मॉल फ़ॉर्म फ़ैक्टर) | LFF (लार्ज) |
|---|---|---|
| साइज़ | 76 × 115 mm | 139 × 115 mm |
| PCIe | x16 तक | x32 तक (दो x16) |
| पावर | 80 W तक | 150 W तक |
| पोर्ट | 2–4 × SFP28/QSFP28/QSFP56/QSFP112 | 2 × QSFP-DD/OSFP या ज़्यादा |
| ऑप्टिक्स एक्सेस | मॉड्यूल के फ़्रंट से, टूल-लेस | वही |
OCP कार्ड सर्वर के पिछले हिस्से में अपने ख़ुद के एयरफ़्लो चैनल के साथ बैठते हैं; मॉड्यूल की कूलिंग आमतौर पर GPU के बीच दबे किसी PCIe कार्ड से बेहतर होती है।
कार्ड पर ऑप्टिक्स के लिए पावर और कूलिंग
| आइटम | लिमिट / नियम |
|---|---|
| PCIe स्लॉट पावर | 25 W (x1…x8 लो प्रोफ़ाइल), 75 W (x16); 400G कार्ड 8-पिन ऑक्ज़िलियरी कनेक्टर इस्तेमाल करते हैं |
| NIC पर प्रति-केज बजट | SFP28: 1.5 W (लेवल II); QSFP28: 3.5–4.5 W; QSFP56/112: 5–8 W; QSFP-DD/OSFP: 12–20 W — यह कार्ड की डेटा शीट में लिखा होता है (पावर और खपत) |
| एयरफ़्लो | कार्ड के आर-पार 200–300 LFM; 1U सर्वर में CPU एग्ज़ॉस्ट के पास किसी कार्ड पर ऑप्टिक्स गर्म चलती हैं — 60 °C से ऊपर DDM तापमान आम है |
| थर्मल थ्रॉटलिंग | जब मॉड्यूल ज़्यादा तापमान रिपोर्ट करता है तो कुछ कंट्रोलर मॉड्यूल को लो पावर पर ले जाते हैं या पोर्ट बंद कर देते हैं |
| NIC पर कोहेरेंट / ZR | स्टैंडर्ड NIC पर सपोर्टेड नहीं — क्लास 8 केज बजट से ज़्यादा होता है |
मल्टी-होस्ट और सॉकेट डायरेक्ट
हाई-एंड कार्ड ख़ुद को दो CPU सॉकेट (दो x8 या x16 लिंक) या कई होस्ट के सामने पेश कर सकते हैं। ऑप्टिकल साइड नहीं बदलती; स्प्लिट PCIe में होता है। यह Gen 4 प्लेटफ़ॉर्म पर 400G के लिए और उन GPU सर्वर के लिए मायने रखता है जहाँ हर GPU के NIC को अपने ख़ुद के PCIe रूट पर बैठना होता है।
ऑप्टिक्स के लिए NIC ख़रीदने से पहले चेकलिस्ट
- केज टाइप और उस केज पर कंट्रोलर जिन स्पीड को सपोर्ट करता है।
- टार्गेट स्लॉट में PCIe जनरेशन और लेन बनाम कुल पोर्ट बैंडविड्थ।
- ब्रेकआउट चाहिए? कंट्रोलर को पोर्ट स्प्लिट सपोर्ट करना होगा।
- ड्राइवर की मॉड्यूल पॉलिसी (NIC पर ऑप्टिक्स कम्पैटिबिलिटी)।
- केज पावर बजट बनाम प्लान किए गए मॉड्यूल; ऑक्ज़िलियरी पावर कनेक्टर मौजूद हो।
- चेसिस पोज़िशन में एयरफ़्लो; बेहतर कूलिंग के लिए OCP 3.0 पर विचार करें।
- FEC मोड और स्पीड फ़ोर्सिंग के लिए OS/ड्राइवर सपोर्ट।
CodingBox में
मॉड्यूल के कंप्लायंस कोड और पावर क्लास बताते हैं कि क्या यह NIC के केज और स्पीड को सर्व कर सकता है; CodingBox मॉड्यूल इंस्टॉल होने से पहले इन्हें पढ़ लेता है, और पोर्ट-स्प्लिट व PCIe के सवाल सर्वर साइड पर तय होते हैं (Check transceiver)।