Ethernet عديم الفقد للتخزين: DCB وPFC وECN
يُسقط Ethernet الإطارات عند الازدحام؛ بينما تفترض بروتوكولات التخزين المبنية لـFibre Channel أو RDMA أن لا شيء يُسقَط أبدًا. ويسد تجسير مركز البيانات (Data Center Bridging، DCB) هذه الفجوة بالتحكم في التدفق وتخصيص النطاق الترددي لكل أولوية، ويضيف RoCE إشارات ازدحام فوق ذلك. والنتيجة لا تكون بلا فقد إلا بقدر أسوأ وصلة فيها: فبصرية هامشية تُسقط إطارًا من كل مليون تُمثِّل حادثة تخزين. تشرح هذه الصفحة الآليات وتترجمها إلى متطلبات للطبقة الفيزيائية.
أدوات DCB
| المعيار | الاسم | ما يفعله |
|---|---|---|
| IEEE 802.1Qbb | PFC — التحكم بتدفق الأولوية | إطارات إيقاف مؤقت لكل فئة حركة (0–7): يوقف المستقبل المزدحم فئة واحدة دون إيقاف المنفذ |
| IEEE 802.1Qaz | ETS — اختيار الإرسال المحسَّن | حصص نطاق ترددي مضمونة لكل فئة (مثلًا 50% للتخزين و50% لـLAN) |
| IEEE 802.1Qaz | DCBX — تبادل DCB | تفاوض قائم على LLDP على إعدادات PFC/ETS بين المبدِّل وNIC |
| IEEE 802.1Qau | CN — الإخطار بالازدحام | نادر النشر |
| RFC 3168 + DCQCN | تعليم ECN + التحكم في المعدل | يُعلِّم المبدِّل الحزم عند تراكم الطوابير؛ وتُبطئ بطاقات NIC الخاصة بـRoCE التدفق قبل الحاجة إلى PFC |
كيف يبقى RoCE بلا فقد
- تُوسَم حركة التخزين/RDMA بأولوية مخصَّصة (غالبًا 3 أو 4) عبر DSCP أو 802.1p.
- يُفعَّل PFC لتلك الأولوية فقط على كل منفذ على طول المسار، بهامش مساحة احتياطية في المخزن المؤقت مُحدَّد الحجم وفق سرعة الوصلة وطول الكبل (البايتات قيد النقل).
- تُعلِّم عتبات ECN الحزم مبكرًا؛ وتشغِّل بطاقات NIC خوارزمية DCQCN لخفض معدلها، بحيث لا يُفعَّل PFC إلا كملاذ أخير.
- يضمن ETS لفئة التخزين نطاقها الترددي تحت حمل LAN.
- يحافظ DCBX على اتساق إعدادات NIC والمبدِّل؛ وعدم التطابق يكسر خاصية اللافقد بصمت.
ويحقق FC وInfiniBand الأمر نفسه بالأرصدة في كل وصلة بشكل افتراضي؛ بينما يحتاج Ethernet إلى ضبط ذلك والتحقق منه ومراقبته (أساسيات بروتوكول FC، نقل InfiniBand).
ما يمكن أن يحدث خطأ
| المشكلة | الأثر | الاكتشاف |
|---|---|---|
| PFC غير مفعَّل على قفزة واحدة / أولوية خطأ | إسقاط تحت الحمل؛ وإعادة إرسال RDMA؛ وارتفاعات كمون | عدّادات إيقاف مؤقت صفرية حيث لا ينبغي؛ وإسقاط على الفئة |
| عاصفة PFC | مستقبل عالق يوقف الاتجاه الصاعد إلى أجل غير مسمى؛ وينتشر الازدحام على مستوى النسيج كله | فيضان إطارات الإيقاف المؤقت؛ وعدّادات المراقبة (watchdog) |
| جمود PFC | تبعية دورية بين المخازن المؤقتة في نُسُج Clos؛ وتتوقف كل الحركة على الفئة | يحتاج كشف جمود / مراقبة (watchdog) لكسره |
| مساحة احتياطية صغيرة جدًا للكبلات/البصريات الطويلة | إسقاط رغم PFC | إسقاط مع عدّادات إيقاف مؤقت نشطة |
| عتبات ECN خطأ | مبكرة جدًا: فقد في الإنتاجية؛ ومتأخرة جدًا: فيضان PFC | عدّادات تعليم ECN، وعدّادات CNP على بطاقات NIC |
| أخطاء فيزيائية على الوصلة (CRC، وFEC غير قابل للتصحيح) | إطارات مفقودة لا يستطيع أي تحكم بالتدفق استعادتها | عدّادات أخطاء المنفذ، وعدّادات FEC — مقاييس VDM وFEC |
iSCSI بلا DCB
يعمل iSCSI فوق TCP وينجو من الفقد، لكنه يدفع ثمن ذلك كمونًا وإعادة إرسال. وأفضل الممارسات بصرف النظر عن DCB:
- شبكات VLAN/شبكات فرعية مخصَّصة لكل نسيج، ونسيجان اثنان، وMPIO على المضيفين؛
- إطارات ضخمة (jumbo frames) (MTU بقيمة 9000) من طرف إلى طرف؛
- بلا إفراط في الاشتراك بين البادئات والأهداف؛ ووصلات صاعدة بسرعة 25G/100G محدَّدة الحجم وفق المصفوفة؛
- FEC مفعَّل على كل وصلة بسرعة 25G فأكثر؛ وعدّادات CRC عند الصفر؛
- واختياريًا PFC على فئة iSCSI لتنعيم الدفعات الدقيقة (توصي به مصفوفات كثيرة).
متطلبات الطبقة الفيزيائية
| المتطلب | لماذا | الممارسة |
|---|---|---|
| FEC مفعَّل ومتطابق على كل وصلة بسرعة 25G فأكثر | لا يتحمل RoCE معدل الخطأ الخام لمسارات 25G/50G غير المحمية | FEC وتدريب الوصلة |
| CRC وFEC غير القابل للتصحيح = 0 | كل إطار مفقود يوقف طابورًا | نبِّه عند أي زيادة |
| قدرة Rx داخل النافذة بهامش | تُنتج البصريات الهامشية دفعات أخطاء مع تغيّر الحرارة | قدرة Rx وميزانية الوصلة |
| اتساق السرعة/الازدواجية/AN | يحتاج DAC إلى AN + تدريب الوصلة في الطرفين | النحاس وDAC |
| طول الكبل ضمن افتراضات المساحة الاحتياطية | تُحسَب المساحة الاحتياطية من البايتات قيد النقل | يُفضَّل DAC داخل الرف، وSR/AOC داخل الصف، وDR/LR بين الغرف |
| هوية مقبولة من NIC والمبدِّل | البصريات المرفوضة تؤول إلى انعدام الوصلة أو سرعة مخفَّضة | قفل المورّد |
قائمة تحقق المراقبة
- لكل منفذ: إطارات الإيقاف المؤقت المُرسَلة/المستقبَلة لكل أولوية، وتعليمات ECN، والإسقاط لكل فئة، وCRC، وFEC المصحَّح/غير القابل للتصحيح، وتذبذب الوصلة.
- لكل NIC: حزم CNP المُرسَلة/المستقبَلة، وإعادات الإرسال، والخروج عن التسلسل، ومهلات الانتظار.
- لكل وحدة بصرية: اتجاهات قدرة Rx/Tx ودرجة الحرارة (المراقبة).
- اربط ارتفاعات زمن الانتظار الذيلي للتخزين بما سبق — فالطبقة الفيزيائية هي المذنبة أكثر من المصفوفة في الغالب.
في CodingBox
يُبنى النسيج بلا فقد من بصريات عادية تخضع فقط لمعيار أعلى. والفحص الوارد على منصة الاختبار — الهوية، والمجاميع الاختبارية، وDDM الحي مقارنة بـالقيم النمطية، وتخزين خط أساس — هو ما يُبقي الوحدات الهامشية خارج نسيج تكلِّف فيه وصلة سيئة واحدة تطبيقًا اتفاقية مستوى الكمون الخاصة به (Check transceiver، DDM).
موضع PFC وECN بين آليات التمرير الأخرى، وكيف تظهر فيها أخطاء الطبقة الفيزيائية: أساسيات التمرير.