Cáp IB theo thế hệ: DAC, AOC, transceiver, cáp chia
Một cụm InfiniBand được đi cáp theo nhóm cự ly: đồng nơi switch nằm trong tầm tay, đồng chủ động ở khoảng xa hơn một chút, cáp quang chủ động tới hàng tủ rack kế tiếp, transceiver với hệ thống cáp quang có cấu trúc cho phần còn lại. Mỗi thế hệ lại thu hẹp các ranh giới đó vào gần hơn và đổi loại đầu nối, còn NDR bổ sung thêm module hai cổng và cáp chia khiến những người lắp đặt lần đầu dễ nhầm lẫn. Trang này là tài liệu tra cứu về đi cáp — cự ly, đầu nối, cấu hình chia, quy tắc cơ khí và thông tin nhận dạng.
Đầu nối theo từng thế hệ
| Thế hệ | Tốc độ mỗi làn | Cổng 4x | Đầu nối | Ghi chú |
|---|---|---|---|---|
| SDR / DDR | 2,5 / 5 Gb/s | 10 / 20 Gb/s | CX4 (đồng), về sau là QSFP | thế hệ cũ |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | quản lý theo SFF-8436 |
| FDR | 14,06 Gb/s | 56 Gb/s | QSFP+ (đạt chuẩn FDR) | 64B/66B; FEC tùy chọn |
| EDR | 25,78 Gb/s | 100 Gb/s | QSFP28 | cùng quang học với Ethernet 100G, khác cách mã hóa |
| HDR | 53,1 Gb/s PAM4 | 200 Gb/s | QSFP56 | bộ chia 1:2 xuống HDR100 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | OSFP hai cổng (2 × 400G mỗi module) trên switch; OSFP hoặc QSFP112 trên HCA | 800G mỗi cage switch |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | 1,6T mỗi cage switch |
Chi tiết form factor: QSFP28, QSFP56, OSFP, QSFP112.
Các nhóm cự ly
| Môi trường | QDR | FDR | EDR | HDR | NDR | Ghi chú |
|---|---|---|---|---|---|---|
| DAC thụ động | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1,5–2 m | cự ly co lại ở mỗi thế hệ; dây có tiết diện dày hơn cho đoạn dài hơn |
| Đồng chủ động (ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | đầu cắm có nguồn điện; AEC có retimer cho NDR |
| AOC | ≤ 100 m (một số tới 300) | ≤ 100 m | ≤ 100 m | ≤ 100 m | ≤ 30–50 m điển hình | VCSEL 850 nm, ruy băng MMF bên trong |
| Transceiver lớp SR (MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m (VR) / 100 m (SR) | OM3/OM4, MPO |
| Transceiver lớp DR/FR (SMF) | — | — | 500 m – 2 km (PSM4, CWDM4) | 500 m – 2 km | 500 m (DR4) / 2 km (FR4) | MPO-12 APC (DR4), LC duplex (FR4) |
Bên trong mỗi loại cáp có gì: Cấu tạo bên trong cáp.
OSFP hai cổng NDR và cáp chia
Một cage switch NDR chứa một module OSFP hai cổng = hai cổng 400G độc lập đằng sau hai đầu thu MPO-12/APC (hoặc hai đầu thu LC-duplex). Các phương án đi cáp từ một module:
| Cấu hình | Cáp | Đầu xa |
|---|---|---|
| 2 × 400G thẳng | hai trunk MPO-12 APC | hai cổng HCA NDR 400G (OSFP hoặc QSFP112) hoặc một switch khác |
| Chia 1:2 (800G → 2 × 400G) | cáp Y, một đầu OSFP, hai đầu OSFP/QSFP112 | hai HCA — kết nối chuẩn của server |
| Chia 1:4 (800G → 4 × 200G) | một đầu OSFP, bốn đầu QSFP56/QSFP112 | HCA tốc độ HDR (NDR200) |
| AOC hai cổng | một đầu OSFP hai cổng, hai đầu OSFP/QSFP112 | tới ~30–50 m |
| DAC hai cổng | một đầu OSFP, hai đầu | ≤ 1,5–2 m; nặng — chỉ dùng trong cùng tủ rack |
Mỗi nhánh chia là một liên kết riêng biệt với đàm phán riêng của nó; switch nhìn thấy hai (hoặc bốn) cổng. Việc mã hóa thông tin nhận dạng phải mô tả nhất quán toàn bộ cụm cáp ở mọi đầu (Cấu tạo bên trong cáp).
OSFP có vây tản nhiệt so với OSFP phẳng
- OSFP đỉnh có vây — tản nhiệt tích hợp cho cage switch có luồng khí lưu thông phía trên module. Không lắp vừa một cage phẳng.
- OSFP đỉnh phẳng — dành cho HCA và các cage có tản nhiệt rời đặt lên trên. Lắp vừa cả hai loại cage, nhưng trong một cage switch để hở nó có thể chạy nóng.
- QSFP112 trên HCA dùng chung giao diện điện NDR ở 4 × 106 Gb/s trong một footprint QSFP; một cổng HCA QSFP112 ghép cặp với một cáp chia từ phía switch OSFP.
Hệ quả về nhiệt: Công suất & nhiệt.
Quy tắc cơ khí
| Quy tắc | Vì sao |
|---|---|
| Tuân thủ bán kính uốn cong (DAC ≥ 10× đường kính; AOC/sợi quang ≥ 30 mm) | twinax bị bóp méo → lỗi làn; sợi quang bị uốn cong → mất công suất Rx |
| Đỡ trọng lượng cáp — DAC hai cổng khá nặng | kéo lệch cage, tiếp xúc chập chờn, nứt paddle card |
| Có chốt/không chốt và APC trên mọi đầu MPO | Breakout & cáp MPO |
| Vệ sinh và soi kiểm tra mọi đầu MPO trước khi cắm | một hạt bụi cũng khiến một làn mất 1–3 dB |
| Giữ nắp chống bụi trên các cage và đầu nối chưa dùng | nhiễm bẩn là nguyên nhân hàng đầu gây lỗi làn |
| Đi dây tránh xa luồng khí thải nóng | engine của AOC và đầu cắm AEC lão hóa theo nhiệt độ |
Thông tin nhận dạng và chính sách nhà sản xuất
Switch và HCA InfiniBand của nhà sản xuất chi phối thị trường xác thực cáp và transceiver theo một danh sách được hỗ trợ, và đọc thông tin cáp của chúng (nhà sản xuất, PN, SN, độ dài, công nghệ) vào bộ quản lý fabric. Một cáp chưa được xác thực có thể lên liên kết ở tốc độ giảm hoặc bị gắn cờ; một cáp được mã hóa sai độ dài hoặc sai lớp tốc độ có thể đàm phán thất bại. Các byte thông tin nhận dạng là các trường SFF-8636/CMIS tiêu chuẩn cộng thêm phần khai báo tốc độ của InfiniBand (Mã tuân thủ, Khóa nhà sản xuất).
Thực hành quản lý kho
- Gắn nhãn cả hai đầu với thông tin liên kết (switch/cổng ↔ host/cổng); cáp chia cần nhãn riêng cho từng nhánh.
- Ghi lại nhà sản xuất, PN, SN và độ dài của từng cáp trong bộ quản lý fabric hoặc CMDB; lấy dữ liệu từ
mlxcableshoặc từ CodingBox khi kiểm tra đầu vào. - Dự trữ hàng thay thế theo nhóm cự ly và loại đầu nối; các biến thể hai cổng và cáp chia của NDR không thể dùng thay thế lẫn cho 400G thông thường.
- Cho thiết bị quang mới chạy burn-in trước khi triển khai (Độ tin cậy & giám sát liên kết).
Trong CodingBox
Đầu cáp và transceiver được đọc như bất kỳ module nào: thông tin nhận dạng kèm độ dài cáp, công nghệ và lớp tốc độ, DDM theo từng làn cho AOC và quang học, trạng thái CMIS cho module NDR (Check transceiver, DDM). Đọc từng nhánh của một cáp chia trước khi lắp đặt sẽ bắt được đầu bị lắp sai, thứ mà nếu không sẽ lên liên kết ở sai tốc độ.
Các module thế hệ XDR một cách chi tiết: OSFP224 và OSFP-XD.
Cách HCA và driver NIC xác thực các cáp này, và những công cụ hiển thị kết quả đó từ phía host: Tính tương thích transceiver trên NIC, Công cụ và chẩn đoán NIC.