English 
简体中文 
繁體中文 
Русский 
Español 
Deutsch 
Français 
Português 
Italiano 
Türkçe 
Polski 
Nederlands 
日本語 
한국어 
Bahasa Indonesia 
Bahasa Melayu 
العربية 
हिन्दी 
Tiếng Việt 
ภาษาไทย 
বাংলা 
اردو 
Kiswahili 
Oʻzbekcha 
አማርኛ 
فارسی Cấu trúc mạng fabric GPU
Mạng của một cụm AI được xây dựng theo nhiều lớp, và mỗi lớp dùng interconnect khác nhau — và thiết bị quang khác nhau. Hiểu các lớp này giải thích vì sao một cụm có nhiều transceiver đến vậy và một transceiver hỏng gây hại nhiều nhất ở đâu.
Scale-up so với scale-out
| Scale-up | Scale-out | |
|---|---|---|
| Kết nối | GPU trong cùng một server hoặc tủ rack | server với nhau |
| Công nghệ | liên kết GPU-to-GPU độc quyền (ví dụ NVLink/NVSwitch) | InfiniBand hoặc Ethernet/RoCE |
| Môi trường truyền dẫn | backplane và cáp đồng, ngày càng nhiều thiết bị quang giữa các tủ rack | thiết bị quang cắm rút: 400G/800G OSFP, QSFP-DD |
| Băng thông mỗi GPU | cao nhất | cao, chia sẻ với fabric |
Transceiver dạng cắm rút chủ yếu nằm ở lớp scale-out — mỗi server GPU có vài cổng 400G/800G hướng ra fabric, cộng thêm mạng front-end/lưu trữ riêng.
Fat-tree và non-blocking
Fabric scale-out thường là một fat-tree (Clos): switch leaf kết nối tới server, switch spine kết nối tới các leaf, với đủ số uplink leaf–spine để bất kỳ server nào cũng có thể nói chuyện với bất kỳ server nào khác ở tốc độ đầy đủ (non-blocking). Phần lớn thiết bị quang của một cụm nằm ở các liên kết leaf–spine và server–leaf này — hàng nghìn module DR4/DR8 giống hệt nhau.
Thiết kế tối ưu theo rail
Lưu lượng huấn luyện chủ yếu là phép toán tập thể giữa các GPU cùng rank trên các server khác nhau. Một cấu trúc tối ưu theo rail khai thác điều này: GPU 0 của mọi server nối tới switch leaf 0, GPU 1 nối tới leaf 1, và cứ thế, nên các GPU cùng rank chỉ cách nhau một hop và các phép toán tập thể không bao giờ phải đi qua spine. Hệ quả đối với thiết bị quang: một lỗi trên một rail duy nhất ảnh hưởng tới cùng một vị trí GPU ở mọi server — một quy luật đáng để nhận ra.
Các mạng riêng biệt
Một cụm thường chạy nhiều fabric tách biệt về mặt vật lý:
- Fabric tính toán — GPU-to-GPU (IB hoặc RoCE), lớn nhất và dùng nhiều thiết bị quang nhất.
- Fabric lưu trữ — tới các hệ thống tệp song song và lưu trữ đối tượng, thường dùng Ethernet (mạng lưu trữ).
- Front-end / quản lý — truy cập người dùng, điều phối, đo từ xa.
Mỗi mạng có kho thiết bị quang riêng và quy tắc xác thực nhà sản xuất riêng.
Vì sao một liên kết hỏng lại quan trọng đến vậy
Một phép toán tập thể hoàn tất theo tốc độ của thành viên chậm nhất. Một transceiver có một làn đang xuống cấp — số lần FEC sửa lỗi tăng, thỉnh thoảng truyền lại — sẽ kéo dài độ trễ đuôi của mỗi bước và có thể làm giảm một phần đáng kể thông lượng của toàn cụm. Đó là lý do vì sao các đơn vị vận hành AI theo dõi xu hướng DDM theo từng làn trên toàn bộ đội thiết bị và thay thế thiết bị quang một cách chủ động (Transceiver trong các cụm AI).
Trong CodingBox
Hãy kiểm định thiết bị quang trên bàn thử trước khi lắp vào một rail: thông tin nhận dạng theo CMIS, giá trị tham chiếu DDM theo từng làn trên màn hình DDM, và một bản ghi trong code database để lịch sử của module luôn sẵn có khi một rail bắt đầu xuất hiện lỗi.
Các adapter ở đầu GPU của những fabric này — BlueField, ConnectX-8 SuperNIC, Pensando — và thiết bị quang OSFP hai cổng của chúng: SmartNIC và DPU.