GPU-Cluster-Fabric: GPU-Server an InfiniBand oder 400GbE

Trainingscluster verbinden GPU Server über ein separates Hochgeschwindigkeitsnetz, damit GPUs in verschiedenen Servern Daten direkt austauschen können (RDMA). Große Cluster geben jeder GPU einen eigenen 200Gb oder 400Gb InfiniBand oder RoCE Ethernet Port. Die Verkabelung erfolgt in Rails, sodass GPU 1 jedes Servers am selben Switch endet. Storage und Verwaltung nutzen eigene Ethernet Netzwerke neben dem GPU Fabric.

GPU-ServerEin 200/400G NIC pro GPUInfiniBand- oder RoCE-SwitchRail-optimiertStorage und weitere GPU-ServerSeparates Storage-Netzwerk

Verkabelung: OSFP- / QSFP112-Transceiver oder AOC.

Prüfpunkte

InfiniBand-Adapter und Switches müssen zur Generation passen: HDR ist 200Gb, NDR ist 400Gb. VPI-Adapter wie ConnectX-6 und ConnectX-7 können entweder InfiniBand oder Ethernet verwenden.
Ein GPU-Server benötigt mehrere Kilowatt. Meist begrenzen daher Stromversorgung und Kühlung die Anzahl der Geräte im Rack früher als der verfügbare Platz.
Trennen Sie das Storage-Netzwerk von der GPU-Fabric. Das Schreiben von Checkpoints kann sie auslasten.

Hardware für diese Konfiguration

Alle Modelle und Teile der Referenz, die zu diesem Verbindungsweg passen, nach Rolle und Marke. Öffnen Sie einen Eintrag, um die möglichen Verbindungen zu sehen.

Servermodelle (26)

GPUs (19)

AMD

AMD Instinct MI210 PCIe 4 zwei Slots, volle Bauhöhe und Baulänge
AMD Instinct MI250X OAM (OCP Beschleunigermodul)
AMD Instinct MI300X OAM (OCP Beschleunigermodul)

NVIDIA

NVIDIA Data Center GPU A10 PCIe ein Slot, volle Bauhöhe und Baulänge
NVIDIA Data Center GPU A100 PCIe 80GB PCIe zwei Slots, volle Bauhöhe und Baulänge
NVIDIA Data Center GPU A100 SXM4 80GB SXM4 Modul
NVIDIA Data Center GPU A30 PCIe zwei Slots, volle Bauhöhe und Baulänge
NVIDIA Data Center GPU A40 PCIe 4 zwei Slots, volle Bauhöhe und Baulänge
NVIDIA Data Center GPU A800 PCIe 80GB PCIe zwei Slots, volle Bauhöhe und Baulänge
NVIDIA Data Center GPU H100 PCIe 80GB PCIe 5 zwei Slots, volle Bauhöhe und Baulänge
NVIDIA Data Center GPU H100 SXM5 80GB SXM5 Modul
NVIDIA Data Center GPU H20 SXM5 Modul oder PCIe
NVIDIA Data Center GPU H800 SXM5 80GB SXM5 Modul
NVIDIA Data Center GPU L20 PCIe zwei Slots, volle Bauhöhe und Baulänge
NVIDIA Data Center GPU L4 PCIe 4 niedriges Profil, halbe Höhe und halbe Länge
NVIDIA Data Center GPU L40S PCIe 4 zwei Slots, volle Bauhöhe und Baulänge
NVIDIA Data Center GPU T4 PCIe Low-Profile, halbe Bauhöhe und Baulänge
NVIDIA Data Center GPU Tesla V100 SXM2 32GB SXM2 Modul
NVIDIA GeForce RTX 5090D PCIe 5 x16, dreifache Slotbreite

Serveradapter (15)

Dell

540-BCVE Dell NVIDIA Mellanox ConnectX-6 VPI Single-Port 200Gb/s HDR InfiniBand / 200GbE PCIe-Adapter
540-BDDW Dell NVIDIA Mellanox ConnectX-6 VPI Dual-Port 200Gb/s HDR InfiniBand / 200GbE PCIe-Adapter
540-BDRV Adapter Dell NVIDIA Mellanox ConnectX-7 Dual Port 400Gb/s NDR InfiniBand / 400GbE PCIe Gen5

HPE

P45641-H24 HPE InfiniBand XDR/Ethernet 2x400GbE 1-port OSFP PCIe6 x16 HHHL CX8 Crypto Netzwerkadapter
P45642-H23 HPE InfiniBand NDR/Ethernet 400Gb 1-port OSFP PCIe5 x16 MCX75310AAS-NEAT Generic Netzwerkadapter
P65333-H21 Adapter HPE InfiniBand NDR200/Ethernet 200Gb 1-port OSFP PCIe5 x16 MCX75310AAS-HEAT Adapter
P79114-H21 HPE InfiniBand XDR400/Ethernet 400GbE 2-port QSFP112 PCIe6 x16 HHHL CX8 Crypto Netzwerkadapter

Lenovo

00KH924 Mellanox ConnectX-4 2x100GbE/EDR IB QSFP28 VPI-Adapterkarte

NVIDIA

MCX556A-ECAT NVIDIA ConnectX-5 VPI Dual-Port-Adapter für 100Gb/s EDR InfiniBand und 100GbE QSFP28 PCIe 3.0 x16
MCX75310AAS-NEAT Adapter NVIDIA ConnectX-7 Single-Port 400Gb/s NDR InfiniBand und 400GbE OSFP PCIe 5.0 x16
MCX755106AS-HEAT Adapter NVIDIA ConnectX-7 Dual-Port 200Gb/s NDR200 InfiniBand und 200GbE QSFP112 PCIe 5.0 x16

Supermicro

AOC-IBH-X4ES-B Supermicro AOC-IBH-X4ES-B: Mezzanine-Karte, InfiniBand EDR Single Port basierend auf ConnectX-4
AOC-MCX456A-ECAT Supermicro AOC-MCX456A-ECAT: 2 Port 100G QSFP28 PCI-E x16 EDR IB Karte, basierend auf Mellanox ConnectX-4 VPI
AOC-MCX555A-ECAT Supermicro AOC-MCX555A-ECAT: Standard LP, 1x 100GbE (und EDR IB) QSFP28, PCI-E x16, Mellanox ConnectX-5
AOC-MCX556A-ECAT Supermicro AOC-MCX556A-ECAT: Standard LP, 2x 100GbE (und EDR IB) QSFP28, PCI-E x16, Mellanox ConnectX-5

Switch-Geräte (32)

Arista

Arista 7060X 7060DX4-32 1U Switch mit fester Konfiguration
Arista 7060X6-32D 1U Switch mit fester Konfiguration
Arista 7280R 7280CR3-32D4 2U Switch mit fester Konfiguration
Arista 7280R 7280CR3-32P4 2U Switch mit fester Konfiguration
Arista 7500R3 7504R3 Modulares Gehäuse
Arista 7500R3 7508R3 Modulares Gehäuse
Arista 7800R3 7804R3 Modulares Gehäuse
Arista 7800R3 7808R3 Modulares Gehäuse
Arista 7800R3 7816R3 Modulares Gehäuse

Cisco

Cisco Nexus 9332D-GX2B 1U Switch mit fester Konfiguration
Cisco Nexus 9364D-GX2A 2U Switch mit fester Konfiguration

Dell

HPE

HPE Aruba CX 9300 1U Switch mit fester Konfiguration, 400G

Juniper

Juniper QFX Series QFX10008 Modulares Gehäuse
Juniper QFX Series QFX5130-32CD 1U Switch mit fester Konfiguration
Juniper QFX Series QFX5220-32CD 1U Switch mit fester Konfiguration
Juniper QFX Series QFX5700 5U modulares Gehäuse

NVIDIA

NVIDIA Quantum CS7500 Modulares Gehäuse
NVIDIA Quantum CS8500 Modulares Gehäuse
NVIDIA Quantum QM8700 1U Switch mit fester Konfiguration
NVIDIA Quantum QM8790 1U Switch mit fester Konfiguration
NVIDIA Quantum Switch-IB 2 SB7800 1U Switch mit fester Konfiguration
NVIDIA Quantum Switch-IB 2 SB7890 1U Switch mit fester Konfiguration
NVIDIA Quantum Switch-IB SB7700 1U Switch mit fester Konfiguration
NVIDIA Quantum Switch-IB SB7790 1U Switch mit fester Konfiguration
NVIDIA Quantum-2 QM9700 1U Switch mit fester Konfiguration
NVIDIA Quantum-2 QM9790 1U Switch mit fester Konfiguration
NVIDIA Spectrum-3 SN4700 1U Switch mit fester Konfiguration
NVIDIA Spectrum-4 SN5600 2U Switch mit fester Konfiguration

Planung und Dimensionierung

Diese Konfiguration im Topologieplaner zeichnen mrplanb.com
Rechner für Tokens pro kWh für GPU-Racks rack-density.com
Rack-Leistung und Platzbedarf addieren rack-density.com
Stromversorgung, Kühlung und Racks für dicht bestückte GPU-Server mrplanb.com

Weitere Verbindungsmöglichkeiten

FAQ

InfiniBand oder Ethernet für GPU-Cluster?

InfiniBand ist die etablierte Wahl für große Trainingscluster. RoCE Ethernet mit abgestimmten Switches kommt nahe heran und eignet sich für Standorte, die eine Netzwerktechnologie einsetzen möchten. Inferenzserver benötigen meist nur Ethernet.

Wie viele Netzwerkports benötigt ein GPU-Server?

Für Training wird typischerweise ein 200Gb- oder 400Gb-Port pro GPU verwendet, dazu zwei Ethernet-Ports für Storage und zwei für die Verwaltung. Inferenzserver nutzen oft zwei bis vier Ethernet-Ports.

GPU-Cluster-Hardware kaufen oder verkaufen?

Neu, generalüberholt oder gebraucht. Nennen Sie Menge und Zustand. Wir vermitteln einen geprüften Händler in Ihrer Region, in der Regel innerhalb eines Werktags.

GPU-Cluster-Hardware kaufen Eigenes Gerät verkaufen