NVMe over Fabrics：FC-NVMe、NVMe/TCP、NVMe/RoCE 及其光模块

NVMe 在服务器内部取代了 SCSI，因为闪存足够快，能够暴露出协议本身的开销； NVMe over Fabrics（NVMe-oF）将同一套命令集扩展到网络之上，让共享存储也能跟上这一速度。它运行在三种传输方式之上，分别对应三类网络——因而也对应三类光模块和三套物理层规则。本文比较这三者，并说明每一种对链路提出的要求。

为什么选择 NVMe-oF

传输方式

四者共享同一套 NVMe-oF 架构：发现控制器告诉主机存在哪些子系统；主机将队列 连接到 I/O 控制器；ANA（非对称命名空间访问）负责处理多路径。

每种传输对物理层的要求

RoCE 是最敏感的一个：接收光功率偏低或接口不洁净的链路会产生 CRC 错误，这类错误在 TCP 下会被默默吸收，但会明显卡住 RDMA 队列。存储延迟出现尖峰、且与端口错误计数器同步变化，就是这一问题的信号（接收光功率与链路预算、 VDM 与 FEC 指标）。

如何选择

运维要点

• 分离组网：存储与计算尽可能分开建网——至少划分独立的流量类别；RoCE 需要专属的无损流量类别。
• MTU：以太网传输上设为 9000；全程保持一致。
• 多路径：两张网络，或两组 VLAN/leaf；启动器需支持 ANA。
• 监控：按端口监控 CRC/FEC 和暂停帧计数器，再加上 DDM 趋势——衰退中的光模块会先表现为尾部延迟升高，早于其彻底故障（监控）。
• 固件：NIC/HBA 与阵列的固件兼容性矩阵，和光模块兼容性同样重要（SAN 中的光模块）。

在 CodingBox 中

NVMe-oF 网络所用的光模块，就是普通的 FC、以太网或 IB 模块；区别在于该传输方式对错误的容忍度有多低。安装前在工作台上读取识别信息、测量基线 DDM （Check transceiver（检测光模块）、 DDM），以及写入阵列和交换机厂商能够接受的识别信息（厂商锁定），是这项工作中涉及编程器的部分。

这些网络所运行的适配器——100G/200G NIC、其笼位、PCIe 限制和模块策略：带光口的 NIC。