Tổng quan mạng AI

Huấn luyện các mô hình AI lớn trải khối lượng công việc trên nhiều GPU, trên nhiều server. Chính mạng kết nối giữa chúng — chứ không phải bất kỳ GPU đơn lẻ nào — thường quyết định một cụm huấn luyện nhanh tới đâu, và đó là lý do vì sao các fabric AI dựa vào những transceiver quang có băng thông cao nhất hiện có.

Vì sao mạng lại quan trọng sống còn

• Phép toán tập thể — các GPU liên tục trao đổi gradient và tham số theo mô hình all-to-all, tạo ra lưu lượng đông–tây dày đặc.
• Độ trễ đuôi rất quan trọng — mỗi bước phải chờ liên kết chậm nhất, nên độ trễ thấp ổn định và truyền tải lossless là điều bắt buộc.
• Quy mô — hàng nghìn GPU nghĩa là switch mật độ cao, radix cao và số lượng thiết bị quang khổng lồ.

Hai kiểu fabric

• InfiniBand — đã phổ biến từ lâu trong HPC, với RDMA và điều khiển luồng lossless (xem InfiniBand).
• Ethernet kèm RoCE — RDMA over Converged Ethernet, ngày càng được dùng nhiều cho AI ở quy mô lớn trên nền Ethernet lossless.

Thiết bị quang

Liên kết AI thường là 400G và 800G, trên module QSFP-DD và OSFP. Các lựa chọn interconnect và thiết bị quang cụ thể được trình bày trong Interconnect & thiết bị quang cho AI.

Vẫn là những form factor và bộ nhớ quản lý quen thuộc — CodingBox đọc các module tốc độ cao này như đọc bất kỳ module nào khác.

Đọc thêm

• Đi cáp cho cụm AI — số liên kết trên mỗi GPU, khoảng cách trong bố trí tối ưu theo rail, hỗn hợp DAC/AEC/AOC/DR, lựa chọn đầu nối, công suất thiết bị quang, QA lắp đặt.
• Độ tin cậy & giám sát liên kết trong fabric AI — vì sao một liên kết làm khựng cả một tác vụ, bài toán FIT, số liệu dự báo, kiến trúc giám sát, cô lập và phòng ngừa.