GPU集群互连网络：基于InfiniBand或400GbE的GPU服务器
训练集群通过专用的独立高速互连网络连接GPU服务器，使不同服务器中的GPU能够通过RDMA直接交换数据。大型集群为每个GPU分配专属的200Gb或400Gb InfiniBand或RoCE Ethernet端口，并采用轨道优化布线方式，确保每台服务器的GPU 1均接入同一台交换机。存储与管理网络则独立运行于各自的Ethernet网络之上，与GPU互连网络并行部署。
GPU服务器每个GPU配备一个200/400G NICInfiniBand或RoCE交换机轨道优化布线存储及其他GPU服务器划分为独立的存储网络
布线方式：OSFP / QSFP112光模块或AOC。
核查注意事项
- InfiniBand网卡与交换机必须在代际上保持匹配：HDR对应200Gb，NDR对应400Gb。诸如ConnectX-6和ConnectX-7等VPI网卡则既可以运行InfiniBand，也可以运行Ethernet。
- 一台GPU服务器的功耗可达数千瓦，因此在机架空间用尽之前，机架供电能力与散热条件通常会率先限制其可安装的服务器数量。
- 务必将存储网络与GPU互连网络隔离开来；检查点（checkpoint）写入可能会导致网络带宽跑满饱和。
适用于此配置的硬件
参考方案中适用于该架构的全部型号与部件，按角色和品牌分类。点击即可查看其连接关系。
服务器 (26)
Dell
Dell PowerEdge XE2420 2U机架
Dell PowerEdge XE7100 4U机架
Dell PowerEdge XE8545 4U机架
Dell PowerEdge XE8640 4U机架
Dell PowerEdge XE9640 2U机架
Dell PowerEdge XE9680 6U机架
HPE
HPE Apollo 6500 Gen10 4U机架
HPE Apollo 6500 Gen10 Plus 4U机架
HPE ProLiant DL380a Gen11 2U机架
HPE ProLiant DL385 Gen11 2U机架
HPE ProLiant DL580 Gen10 4U机架
HPE ProLiant ML350 Gen10 4U塔式
HPE ProLiant ML350 Gen11 4U塔式
HPE ProLiant XL675d Gen10 Plus 6U机箱（HPE Apollo d6500 Gen10 Plus），每机箱一台XL675d
Lenovo
Lenovo ThinkSystem SD650-I V3 高密节点
Lenovo ThinkSystem SD650-N V2 高密节点
Lenovo ThinkSystem SR670 V2 3U机架
Lenovo ThinkSystem SR680a V3 8U机架
Lenovo ThinkSystem SR685a V3 8U机架
Lenovo ThinkSystem SR860 V2 4U机架
Lenovo ThinkSystem ST650 V2 塔式
Lenovo ThinkSystem ST650 V3 塔式
NVIDIA
NVIDIA DGX H100 8U机架式
Supermicro
Supermicro A+ GPU Server AS -8125GS-TNMR2 8U机架
Supermicro GPU SuperServer 8U HGX AI SuperServer 8U机架
Supermicro GPU SuperServer SYS-821GE-TNHR 8U机架
GPU (19)
AMD
AMD Instinct MI210 PCIe 4双槽全高全长
AMD Instinct MI250X OAM（OCP Accelerator Module）
AMD Instinct MI300X OAM（OCP Accelerator Module）
NVIDIA
NVIDIA Data Center GPU A10 PCIe单槽全高全长
NVIDIA Data Center GPU A100 PCIe 80GB PCIe双槽全高全长
NVIDIA Data Center GPU A100 SXM4 80GB SXM4模块
NVIDIA Data Center GPU A30 PCIe双槽全高全长
NVIDIA Data Center GPU A40 PCIe 4双槽全高全长
NVIDIA Data Center GPU A800 PCIe 80GB PCIe双槽全高全长
NVIDIA Data Center GPU H100 PCIe 80GB PCIe 5双槽全高全长
NVIDIA Data Center GPU H100 SXM5 80GB SXM5模块
NVIDIA Data Center GPU H20 SXM5模块或PCIe
NVIDIA Data Center GPU H800 SXM5 80GB SXM5模块
NVIDIA Data Center GPU L20 PCIe双槽全高全长
NVIDIA Data Center GPU L4 PCIe 4半高半长
NVIDIA Data Center GPU L40S PCIe 4双槽全高全长
NVIDIA Data Center GPU T4 PCIe半高半长
NVIDIA Data Center GPU Tesla V100 SXM2 32GB SXM2模块
NVIDIA GeForce RTX 5090D PCIe 5 x16三槽
服务器适配器 (15)
Dell
540-BCVE Dell NVIDIA Mellanox ConnectX-6 VPI单端口 200Gb/s HDR InfiniBand / 200GbE PCIe适配器
540-BDDW Dell NVIDIA Mellanox ConnectX-6 VPI双端口 200Gb/s HDR InfiniBand / 200GbE PCIe适配器
540-BDRV Dell NVIDIA Mellanox ConnectX-7双端口 400Gb/s NDR InfiniBand / 400GbE PCIe Gen5适配器
HPE
P45641-H24 HPE InfiniBand XDR/Ethernet 2x400GbE 1端口 OSFP PCIe6 x16 HHHL CX8 Crypto适配器
P45642-H23 HPE InfiniBand NDR/Ethernet 400Gb 1端口 OSFP PCIe5 x16 MCX75310AAS-NEAT通用适配器
P65333-H21 HPE InfiniBand NDR200/Ethernet 200Gb 1端口 OSFP PCIe5 x16 MCX75310AAS-HEAT适配器
P79114-H21 HPE InfiniBand XDR400/Ethernet 400GbE 2端口 QSFP112 PCIe6 x16 HHHL CX8 Crypto适配器
Lenovo
00KH924 Mellanox ConnectX-4 2x100GbE/EDR IB QSFP28 VPI适配器
NVIDIA
MCX556A-ECAT NVIDIA ConnectX-5 VPI双端口 100Gb/s EDR InfiniBand与 100GbE QSFP28 PCIe 3.0 x16适配器
MCX75310AAS-NEAT NVIDIA ConnectX-7单端口 400Gb/s NDR InfiniBand与 400GbE OSFP PCIe 5.0 x16适配器
MCX755106AS-HEAT NVIDIA ConnectX-7双端口 200Gb/s NDR200 InfiniBand与 200GbE QSFP112 PCIe 5.0 x16适配器
Supermicro
AOC-IBH-X4ES-B Supermicro AOC-IBH-X4ES-B：夹层卡，InfiniBand EDR单端口，基于 ConnectX-4
AOC-MCX456A-ECAT Supermicro AOC-MCX456A-ECAT：2端口 100G QSFP28 PCI-E x16 EDR IB卡，基于 Mellanox ConnectX-4 VPI
AOC-MCX555A-ECAT Supermicro AOC-MCX555A-ECAT：标准 LP，1x 100GbE（及 EDR IB）QSFP28，PCI-E x16，Mellanox ConnectX-5
AOC-MCX556A-ECAT Supermicro AOC-MCX556A-ECAT：标准 LP，2x 100GbE（及 EDR IB）QSFP28，PCI-E x16，Mellanox ConnectX-5
交换机 (32)
Arista
Arista 7060X 7060DX4-32 1U盒式交换机
Arista 7060X6-32D 1U盒式交换机
Arista 7280R 7280CR3-32D4 2U盒式交换机
Arista 7280R 7280CR3-32P4 2U盒式交换机
Arista 7500R3 7504R3 框式机箱
Arista 7500R3 7508R3 框式机箱
Arista 7800R3 7804R3 框式机箱
Arista 7800R3 7808R3 框式机箱
Arista 7800R3 7816R3 框式机箱
Cisco
Cisco Nexus 9332D-GX2B 1U盒式交换机
Cisco Nexus 9364D-GX2A 2U盒式交换机
Dell
Dell PowerSwitch S5448F-ON 1U交换机
Dell PowerSwitch Z9332F-ON 1U交换机
Dell PowerSwitch Z9432F-ON 1U交换机
Dell PowerSwitch Z9664F-ON 2U交换机
HPE
HPE Aruba CX 9300 1U盒式400G交换机
Juniper
Juniper QFX Series QFX10008 框式机箱
Juniper QFX Series QFX5130-32CD 1U盒式交换机
Juniper QFX Series QFX5220-32CD 1U盒式交换机
Juniper QFX Series QFX5700 5U框式机箱
NVIDIA
NVIDIA Quantum CS7500 框式机箱
NVIDIA Quantum CS8500 框式机箱
NVIDIA Quantum QM8700 1U盒式交换机
NVIDIA Quantum QM8790 1U盒式交换机
NVIDIA Quantum Switch-IB 2 SB7800 1U盒式交换机
NVIDIA Quantum Switch-IB 2 SB7890 1U盒式交换机
NVIDIA Quantum Switch-IB SB7700 1U盒式交换机
NVIDIA Quantum Switch-IB SB7790 1U盒式交换机
NVIDIA Quantum-2 QM9700 1U盒式交换机
NVIDIA Quantum-2 QM9790 1U盒式交换机
NVIDIA Spectrum-3 SN4700 1U盒式交换机
NVIDIA Spectrum-4 SN5600 2U盒式交换机
规划与容量选型
- 在拓扑规划工具中绘制此配置 mrplanb.com
- GPU机架每度电Token产出计算器 rack-density.com
- 计算机架功耗与占用空间 rack-density.com
- 高密GPU服务器的供电、散热与机架 mrplanb.com
其他互连方式
常见问题
GPU集群应该选择InfiniBand还是Ethernet？
InfiniBand是大型训练集群的成熟首选方案。经过深度调优交换机配合的RoCE Ethernet性能与之接近，适合希望统一全网技术架构的数据中心。而推理服务器通常只需要Ethernet即可满足需求。
一台GPU服务器通常需要配备多少个网络端口？
对于训练用途，通常每个GPU配备一个200Gb或400Gb端口，外加两个用于存储的Ethernet端口和两个用于管理的端口。推理服务器通常使用两到四个Ethernet端口。
正在购买或出售GPU集群硬件？
全新、翻新或二手。告知我们数量和成色，我们通常会在一个工作日内为您对接所在地区经过审核的经销商。