English 
简体中文 
繁體中文 
Русский 
Español 
Deutsch 
Français 
Português 
Italiano 
Türkçe 
Polski 
Nederlands 
日本語 
한국어 
Bahasa Indonesia 
Bahasa Melayu 
العربية 
हिन्दी 
Tiếng Việt 
ภาษาไทย 
বাংলা 
اردو 
Kiswahili 
Oʻzbekcha 
አማርኛ 
فارسی Đi cáp cho cụm AI: số lượng, khoảng cách, môi trường, QA
Một cụm GPU phần lớn là cáp. Tám GPU trong một node nghĩa là tám liên kết scale-out 400G (hoặc 800G) cộng với mạng quản lý và lưu trữ; một nghìn GPU nghĩa là hàng nghìn đầu quang trải trên hai hoặc ba tầng switch, và mỗi đầu đều có thể là nguyên nhân khiến việc huấn luyện khựng lại. Trang này biến các thiết kế fabric mô tả trong fabric GPU thành số lượng cáp, cấp cự ly, lựa chọn đầu nối và một checklist lắp đặt.
Đếm số liên kết
Với một node 8 GPU điển hình, mỗi GPU có một NIC 400G, fabric hai tầng tối ưu theo rail:
| Hạng mục | Công thức | 1 024 GPU (128 node) |
|---|---|---|
| Liên kết GPU-to-leaf | GPU × 1 | 1 024 × 400G |
| Liên kết leaf-to-spine (non-blocking) | = GPU-to-leaf | 1 024 × 400G |
| Đầu quang/cáp (hai đầu mỗi liên kết) | liên kết × 2 | 4 096 |
| NIC lưu trữ + quản lý | 2–4 mỗi node | thêm 256–512 liên kết |
| Thiết bị quang dự phòng (3–5 %) | — | 150–250 |
Với module switch NDR hai cổng (twin-port, 2 × 400G mỗi OSFP), số lượng ở phía switch giảm một nửa tính theo module nhưng không giảm theo sợi quang. Thiết kế ba tầng thêm 1 024 liên kết spine-to-core nữa cho mỗi 1 024 GPU. Mỗi đầu trong số này là một transceiver hoặc đầu cắm cáp có thông tin nhận dạng và DDM riêng (Độ tin cậy & giám sát liên kết).
Khoảng cách trong bố trí tối ưu theo rail
| Đoạn | Khoảng cách điển hình | Môi trường truyền dẫn |
|---|---|---|
| NIC của GPU → leaf, cùng tủ rack | ≤ 2 m | DAC thụ động (400G ≤ 2 m; 800G ≤ 1–1,5 m) — rẻ nhất, không tốn điện, nặng |
| NIC của GPU → leaf, tủ rack liền kề (nhóm rail trải dọc một hàng) | 3–10 m | AEC (≤ 3–5 m) hoặc AOC / transceiver SR trên MMF |
| Leaf → spine, cùng phòng máy | 10–100 m | AOC tới ~50–100 m; SR4/SR8 / VR trên OM4 ≤ 50–100 m; DR4/DR8 trên SMF 500 m — DR đang chiếm ưu thế ở 400G trở lên |
| Spine → core / giữa các phòng máy | 100 m – 2 km | DR4 / FR4 / 2×FR4 đơn mode |
| DCI liên tòa nhà | 2–80 km | LR4, ZR/ZR+ (Coherent & đường dài) |
Cách đi cáp tối ưu theo rail đặt GPU i của mỗi node vào leaf i, nên tám sợi cáp của một node tỏa ra tám leaf khác nhau — phần lớn liên kết GPU-to-leaf đi ra khỏi tủ rack, và tỷ trọng DAC nhỏ hơn so với thiết kế ToR truyền thống. Chi tiết: Bên trong cáp.
Lựa chọn đầu nối và sợi quang
| Thiết bị quang | Đầu nối | Sợi quang | Ghi chú |
|---|---|---|---|
| 400G DR4 / 800G DR8 | MPO-12 APC / MPO-16 APC (hoặc 2 × MPO-12) | SMF, Base-8/Base-16 | APC cho mọi kết nối song song đơn mode; module có chốt, dây nhảy không chốt |
| 400G/800G SR8 / VR8 | MPO-16 UPC | OM4/OM5 | 50–100 m; thiết bị quang rẻ hơn, sợi quang đắt hơn tính theo mét |
| 400G FR4 / 2×FR4 | LC duplex / 2 × LC | SMF | ít sợi hơn, WDM nằm trong module |
| OSFP NDR hai cổng (twin-port) | 2 × MPO-12 APC | SMF | hai cổng logic trên mỗi module; cáp chia 1:2 / 1:4 (Đấu cáp IB) |
| DAC / AEC | không có | twinax | thông tin nhận dạng ở cả hai đầu |
Cực tính theo phương pháp B xuyên suốt cho các trunk MPO; trunk Base-8 cho thiết bị quang 4 làn (Breakout & đấu cáp MPO).
Công suất và nhiệt riêng của thiết bị quang
| Thiết bị quang | Công suất | Trên switch 64 cổng |
|---|---|---|
| 400G DR4 QSFP-DD | 8–12 W | 0,5–0,8 kW |
| 800G DR8 / 2×FR4 OSFP | 14–18 W | 0,9–1,2 kW |
| Đầu AOC 400G | 3–5 W | — |
| Đầu AEC 800G | 4–6 W | — |
| DAC | 0 | — |
Vì vậy mặt trước switch cần luồng khí từ trước ra sau không bị cản trở; OSFP có cánh tản nhiệt (finned) trên switch, đỉnh phẳng (flat-top) trên NIC; các bó cáp không được che cửa hút khí (Công suất & nhiệt, Nhiệt độ & điện áp). Thiết bị quang linear (LPO) giảm khoảng một nửa công suất module ở những nơi host hỗ trợ (Điều chế & DSP).
Checklist lắp đặt và QA
- Kiểm tra đầu vào cho mọi thiết bị quang và đầu cáp: thông tin nhận dạng, checksum, DDM còn sống, đã lưu giá trị tham chiếu (Sản xuất và kiểm tra).
- Burn-in thiết bị quang mới trong 24–72 giờ ở nhiệt độ vận hành trước khi triển khai.
- Kiểm tra và vệ sinh mọi đầu MPO (dùng đầu soi dành cho APC khi soi đầu nối APC) khi lắp đặt; không bao giờ ghép một đầu nối chưa được kiểm tra.
- Dán nhãn cả hai đầu: node/GPU/NIC ↔ leaf/cổng; với cáp chia thì dán nhãn theo từng nhánh.
- Quản lý bán kính uốn cong và trọng lượng — khay và bó cáp cho DAC/AEC, vòng dự phòng cho sợi quang.
- Xác minh khi bring-up: mọi liên kết đạt đủ tốc độ và độ rộng, FEC bật, Rx từng làn lệch nhau không quá 2 dB, BER trước FEC < 10⁻⁷ lúc rảnh (Số liệu VDM & FEC).
- Ghi lại DDM theo từng làn và thông tin nhận dạng vào fabric manager / CMDB làm giá trị tham chiếu.
- Hàng dự phòng phân theo loại môi trường truyền dẫn và đầu nối; luôn giữ chúng ở trạng thái đã burn-in.
Các lỗi lắp đặt thường gặp
| Lỗi | Dấu hiệu |
|---|---|
| Dây nhảy UPC trên DR4 dùng APC | mọi làn thấp hơn 3–10 dB, cả hai đầu |
| Trunk sai cực tính | mọi làn không có tín hiệu |
| MPO bẩn | một hoặc hai làn thấp; BER trước FEC cao trên các làn đó |
| DAC quá dài so với host | liên kết chạy ở tốc độ giảm hoặc chập chờn |
| Nhánh cáp chia bị đấu nhầm | cổng liên kết sai đối tác; cấu trúc trong fabric manager không khớp |
| OSFP có cánh tản nhiệt lắp vào cage phẳng (hoặc ngược lại) | không vào khớp / quá nhiệt |
Trong CodingBox
Ở quy mô này, kiểm tra đầu vào là một quy trình làm việc, không phải kiểm tra ngẫu nhiên: CodingBox đọc từng module hay đầu cáp, xác minh thông tin nhận dạng và checksum, ghi lại DDM trực tiếp theo từng làn làm giá trị tham chiếu và lưu vào code database theo số sê-ri, để một module sau này bị tháo ra từ một cổng đang chập chờn có thể được so sánh với trạng thái ngày đầu của chính nó.