CodingBox दस्तावेज़

NIC पोर्ट, स्पीड और PCIe बैंडविड्थ

एक NIC का फ़्रंट पैनल “2 × 100G” का वादा करता है; क्या सर्वर वाक़ई 200 Gb/s मूव कर सकता है, यह कार्ड के पीछे मौजूद PCIe स्लॉट पर निर्भर करता है, और क्या कोई ख़ास मॉड्यूल काम करेगा, यह केज और कंट्रोलर के लेन मैप पर निर्भर करता है — बिल्कुल स्विच जैसा, बस पोर्ट कम होते हैं और एक ऐसी बस होती है जिसे अंडर-प्रोविज़न करना आसान है। यह पेज NIC पर मिलने वाले केज और स्पीड, ड्यूल-रेट पोर्ट और ब्रेकआउट केबल के नियम, PCIe का हिसाब-किताब, OCP 3.0 फ़ॉर्म फ़ैक्टर, और कार्ड पर ऑप्टिक्स के लिए मायने रखने वाली पावर और कूलिंग लिमिट लिस्ट करता है।

NIC पर केज और स्पीड

केजNIC पर दिखने वाली स्पीडआम कंट्रोलरनोट्स
SFP+10G (कुछ पर 1G)Intel X520/X710, Broadcom 5741x1G सपोर्ट अलग-अलग होता है; कार्ड का स्पेक जाँचें
SFP2825G, 10G (1G दुर्लभ)Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P22525G को FEC एग्रीमेंट चाहिए (FEC और AN)
SFP5650G, 25G, 10GConnectX-6 Lx/Dx (कुछ)PAM4 लेन
QSFP28100G, 4 × 25G, 2 × 50G, 40G, 4 × 10GIntel E810-CQDA2, ConnectX-5/6, Broadcom P2100ब्रेकआउट केबल से सिर्फ़ वहाँ जहाँ कंट्रोलर इजाज़त दे
QSFP56200G, 100G, 2 × 100GConnectX-6 Dx/-7, Broadcom P2200, Pensando
QSFP112400G, 200G, 100G, 4 × 100GConnectX-7, Broadcom P1400GD100G/लेन; QSFP28/56 स्वीकार करता है
QSFP-DD400G, 2 × 200G, 4 × 100GBroadcom BCM57608
OSFP (ट्विन-पोर्ट)2 × 400G, 800GConnectX-7/-8, BlueField-3एक केज, Nvidia के ट्विन-पोर्ट डिज़ाइन पर दो लॉजिकल पोर्ट
RJ451G / 10GBASE-T / mGigX550, X710-T, BCM57416कोई मॉड्यूल नहीं, कार्ड पर PHY

केज कम्पैटिबिलिटी के नियम वही हैं जो स्विच के हैं (पोर्ट टाइप और केज)।

ड्यूल-रेट पोर्ट और स्पीड ग्रुप

  • ज़्यादातर 25G NIC हर पोर्ट को अलग-अलग 10G या 25G पर चलाते हैं — कोई क्वाड ग्रुपिंग नहीं — लेकिन कुछ ड्यूल-पोर्ट कंट्रोलर एक SerDes ग्रुप शेयर करते हैं और दोनों पोर्ट पर एक जैसी स्पीड फ़ोर्स करते हैं।
  • 100G कार्ड अक्सर 40G मॉड्यूल सपोर्ट करते हैं; 200G/400G कार्ड 100G मॉड्यूल सपोर्ट करते हैं; एक से ज़्यादा जनरेशन नीचे जाना (SFP28 में 1G, QSA के ज़रिए QSFP56 में 10G) शायद ही कभी सपोर्टेड होता है।
  • स्पीड आमतौर पर मॉड्यूल के कंप्लायंस कोड से ऑटो तय होती है; फ़ोर्स करना (ethtool -s … speed) तब ज़रूरी होता है जब मॉड्यूल ड्यूल-रेट हो या पहचाना न गया हो (टूल)।

NIC पर ब्रेकआउट

केसकाम करता है?
100G QSFP28 NIC पोर्ट → स्विच तक 4 × 25G (DAC स्प्लिटर)सिर्फ़ तब जब कंट्रोलर “4 × 25G port split” मोड सपोर्ट करे (कई Nvidia और Broadcom कार्ड करते हैं, ज़्यादातर Intel नहीं करते); कार्ड तब 4 netdevs दिखाता है
स्विच का 100G पोर्ट → चार NIC SFP28 पोर्ट तक 4 × 25Gहाँ — यह आम दिशा है; स्प्लिट स्विच पर कॉन्फ़िगर होता है (ब्रेकआउट और MPO)
400G OSFP ट्विन-पोर्ट → 2 × 400G या 4 × 200G / 8 × 100GNvidia के ट्विन-पोर्ट कार्ड: प्रति केज 2 लॉजिकल पोर्ट; आगे स्प्लिटिंग फ़र्मवेयर पर निर्भर
QSFP28 पोर्ट से 2 × 50Gकुछ कंट्रोलर

PCIe: असली पोर्ट स्पीड

PCIe जनरेशनप्रति लेन (रॉ)x8 यूज़ेबल (≈)x16 यूज़ेबल (≈)
Gen 38 GT/s56–63 Gb/s112–126 Gb/s
Gen 416 GT/s112–126 Gb/s225–252 Gb/s
Gen 532 GT/s225–252 Gb/s450–504 Gb/s
Gen 664 GT/s~450–500 Gb/s~900–1 000 Gb/s

यूज़ेबल थ्रूपुट एनकोडिंग और पैकेट ओवरहेड के बाद रॉ का 85–90 % होता है। पोर्ट को लेन से मैच करें:

कार्डपोर्टज़रूरत
2 × 25G50 Gb/sGen 3 x8
2 × 100G200 Gb/sGen 4 x16 (Gen 3 x16 ~126 पर सैचुरेट हो जाता है)
1 × 200G / 2 × 100G Gen 4200 Gb/sGen 4 x16
2 × 200G400 Gb/sGen 5 x16
1 × 400G400 Gb/sGen 5 x16 (या “socket direct”/मल्टी-होस्ट के ज़रिए दो x16)
2 × 400G800 Gb/sGen 6 x16 या दो Gen 5 x16

Gen 3 x8 स्लॉट में लगा 2 × 100G कार्ड दोनों पोर्ट पर 100G पर लिंक करता है और कुल ~60 Gb/s देता है — ऑप्टिक्स ठीक हैं, बस नहीं। नेगोशिएट की गई लिंक विड्थ और स्पीड (LnkSta) के लिए lspci -vv जाँचें, और BIOS बाइफ़रकेशन सेटिंग भी।

OCP NIC 3.0

आइटमSFF (स्मॉल फ़ॉर्म फ़ैक्टर)LFF (लार्ज)
साइज़76 × 115 mm139 × 115 mm
PCIex16 तकx32 तक (दो x16)
पावर80 W तक150 W तक
पोर्ट2–4 × SFP28/QSFP28/QSFP56/QSFP1122 × QSFP-DD/OSFP या ज़्यादा
ऑप्टिक्स एक्सेसमॉड्यूल के फ़्रंट से, टूल-लेसवही

OCP कार्ड सर्वर के पिछले हिस्से में अपने ख़ुद के एयरफ़्लो चैनल के साथ बैठते हैं; मॉड्यूल की कूलिंग आमतौर पर GPU के बीच दबे किसी PCIe कार्ड से बेहतर होती है।

कार्ड पर ऑप्टिक्स के लिए पावर और कूलिंग

आइटमलिमिट / नियम
PCIe स्लॉट पावर25 W (x1…x8 लो प्रोफ़ाइल), 75 W (x16); 400G कार्ड 8-पिन ऑक्ज़िलियरी कनेक्टर इस्तेमाल करते हैं
NIC पर प्रति-केज बजटSFP28: 1.5 W (लेवल II); QSFP28: 3.5–4.5 W; QSFP56/112: 5–8 W; QSFP-DD/OSFP: 12–20 W — यह कार्ड की डेटा शीट में लिखा होता है (पावर और खपत)
एयरफ़्लोकार्ड के आर-पार 200–300 LFM; 1U सर्वर में CPU एग्ज़ॉस्ट के पास किसी कार्ड पर ऑप्टिक्स गर्म चलती हैं — 60 °C से ऊपर DDM तापमान आम है
थर्मल थ्रॉटलिंगजब मॉड्यूल ज़्यादा तापमान रिपोर्ट करता है तो कुछ कंट्रोलर मॉड्यूल को लो पावर पर ले जाते हैं या पोर्ट बंद कर देते हैं
NIC पर कोहेरेंट / ZRस्टैंडर्ड NIC पर सपोर्टेड नहीं — क्लास 8 केज बजट से ज़्यादा होता है

मल्टी-होस्ट और सॉकेट डायरेक्ट

हाई-एंड कार्ड ख़ुद को दो CPU सॉकेट (दो x8 या x16 लिंक) या कई होस्ट के सामने पेश कर सकते हैं। ऑप्टिकल साइड नहीं बदलती; स्प्लिट PCIe में होता है। यह Gen 4 प्लेटफ़ॉर्म पर 400G के लिए और उन GPU सर्वर के लिए मायने रखता है जहाँ हर GPU के NIC को अपने ख़ुद के PCIe रूट पर बैठना होता है।

ऑप्टिक्स के लिए NIC ख़रीदने से पहले चेकलिस्ट

  1. केज टाइप और उस केज पर कंट्रोलर जिन स्पीड को सपोर्ट करता है।
  2. टार्गेट स्लॉट में PCIe जनरेशन और लेन बनाम कुल पोर्ट बैंडविड्थ।
  3. ब्रेकआउट चाहिए? कंट्रोलर को पोर्ट स्प्लिट सपोर्ट करना होगा।
  4. ड्राइवर की मॉड्यूल पॉलिसी (NIC पर ऑप्टिक्स कम्पैटिबिलिटी)।
  5. केज पावर बजट बनाम प्लान किए गए मॉड्यूल; ऑक्ज़िलियरी पावर कनेक्टर मौजूद हो।
  6. चेसिस पोज़िशन में एयरफ़्लो; बेहतर कूलिंग के लिए OCP 3.0 पर विचार करें।
  7. FEC मोड और स्पीड फ़ोर्सिंग के लिए OS/ड्राइवर सपोर्ट।

CodingBox में

मॉड्यूल के कंप्लायंस कोड और पावर क्लास बताते हैं कि क्या यह NIC के केज और स्पीड को सर्व कर सकता है; CodingBox मॉड्यूल इंस्टॉल होने से पहले इन्हें पढ़ लेता है, और पोर्ट-स्प्लिट व PCIe के सवाल सर्वर साइड पर तय होते हैं (Check transceiver)।


अगर आपको इस सामग्री में कोई अशुद्धि या त्रुटि दिखे, तो संबंधित अंश चुनें और Ctrl+Enter दबाकर