0
简体中文

新闻中心
见行见新,洞悉未来

200G HDR及400G NDR方案概述
2023-08-24 106

复杂工作负载常常需要高速处理高分辨率模拟、超大型数据集和高度并行算法。随着更高算力需求的强劲增长,作为先进的可完全卸载的网络计算平台,NVIDIA Quantum InfiniBand 实现了所需的巨大性能飞跃,能够满足越来越高的计算需求,以更低的成本和复杂性实现出色的数据中心性能。NVIDIA相继推出了InfiniBand 100G EDR、200G HDR以及400G NDR的解决方案。本文主要介绍200G HDR及400G NDR方案。

一、IB交换机

1、Quantum系列盒式交换机

NVIDIA Quantum InfiniBand 交换机能够提供高带宽、高性能、低功耗和灵活的可扩展性,减少投资和运营成本,获得极佳的投资回报率。NVIDIA Quantum 交换机通过先进的路由和拥塞避免功能优化数据中心网络性能。

Quantum系列盒式交换机有QM8700和QM8790两种,两种型号交换机区别在管理方式上,QM8700有control口支持带外管理,QM8790则需要NVIDIA Unified Fabric Manager (UFM) platform进行管理。

QM8700&QM8790 端口拆分

QM8700系列盒式交换机有40个200G QSFP56端口,最多可拆分为80个HDR 100G端口用来下连100G HDR网卡,同时每个端口也支持EDR,与EDR的网卡直连,但是200G HDR端口只能降速至100G与EDR网卡互联,无法拆分为2X100G连接两张EDR网卡。

对于QM8700和QM8790,每个型号的交换机都有两种风向选择,例如:8790-HS2F为 P2C airflow(前后风道) 风扇模块上蓝色标记,8790-HS2R为 C2P airflow(后前风道)风扇模块上红色标记。这里P2C和C2P中 P表示Power电源,C表示Cable(线路接口),P2C(Power to Cable),C2P(Cable to Power )这里参照系是Power电源侧为前,Cable线路接口侧为后。

2、Quantum-2系列盒式交换机

NVIDIA Quantum-2 InfiniBand 交换机可提供海量吞吐、出色的网络计算能力、智能加速引擎、杰出的灵活性和健壮架构,在高性能计算 (HPC)、AI 和超大规模云基础设施中发挥出色性能,并为用户降低成本和系统复杂性。

Quantum-2 InfiniBand交换机主芯片采用7纳米制程,包含了570亿个晶体管。Quantum-2系列盒式交换机有QM9700和QM9790,具有32个800G物理接口,支持64个NDR 400Gb/s InfiniBand端口(可拆分多达128个 200Gb/s端口)在交换能力上超出上一代Quantum-1约5倍。两种型号交换机区别在管理方式上不同。

NVIDIA Quantum-2 固定配置交换机系列支持总计 51.2 TB/s 的双向吞吐量,每秒能够处理超过 665 亿个数据包。

QM9700&QM9790端口拆分

32个OSFP端口可拆分为64个NDR 400G端口,每个NDR端口也可以一分为二。

二、网卡

NVIDIA ConnectX InfiniBand 智能网卡支持更快的速度和创新的网络计算技术,实现了超强性能和可扩展性。

1、HDR网卡

NVIDIA Quantum InfiniBand 架构的 ConnectX-6 智能网卡 (HCA) 支持高性能和 NVIDIA 网络计算加速引擎,可以更大限度地提高 HPC、人工智能、云计算、超大规模数据中心和存储平台的效率。

在速率上有两种选择HDR100与HDR,其中HDR100网卡支持100G的传输速率,2个HDR100端口可通过200G to 2X100G线缆与HDR交换机互联。与100G EDR网卡不同,HDR100网卡的100G端口既支持4X25G NRZ传输,也支持2X50G PAM4传输。HDR网卡支持200G的传输速率,可直接使用200G直连线缆与交换机互联。

ConnectX-6网卡提供200Gb/s吞吐量,端到端延时低于600ns,向后兼容,支持HDR、HDR100、EDR、FDR、QDR、DDR和SDR InfiniBand以及200、100、50、40、25和10GbE。

2、NDR网卡

NVIDIA Quantum-2 InfiniBand 架构的 ConnectX-7 智能网卡(HCA)可提供超高的网络性能,用于处理极具挑战性的工作负载。ConnectX-7 支持超低时延、400Gb/s 吞吐量和创新的 NVIDIA 网络计算加速引擎,实现额外加速,为超级计算机、人工智能和超大规模云数据中心提供所需的高可扩展性和功能丰富的技术。

NVIDIA Quantum-2平台在主机端提供了两个网络选项,NVIDIA ConnectX-7网卡和NVIDIA BlueField-3 DPU InfiniBand。

NVIDIA ConnectX-7基于7纳米工艺设计,包含80亿个晶体管,可提供400Gb/s数据吞吐量,并支持32条PCIe Gen5或Gen4通道用于主机连接,其数据传输速率是NVIDIA ConnectX-6的两倍,还将RDMA、GPUDirect Storage、GPUDirect RDMA和网络计算的性能翻倍。

三、LinkX InfiniBand光连接件

InfiniBand光连接方案,包括使用单模和多模收发器、MPO光纤跳线、有源铜缆(ACC)和无源铜缆(DAC),用以满足搭建各种网络拓扑的需要。

1、HDR

100G速率既有100G EDR方案,也有100G HDR方案;200速率也有HDR和200G NDR两种选择,不同的方案下使用到的网卡、连接件、交换机都有较大区别。

2、NDR

NVIDIA Quantum-2 互连产品为构建适合的拓扑提供了出色的灵活性。产品包括各种收发器、MPO 光纤、有源铜缆 (ACC) 和无源铜缆 (DAC),支持一分二和一分四等选项。并且提供良好的向后兼容性,很容易将最新的 400 Gb/s 集群与现有的基于 200 Gb/s 或 100 Gb/s 的基础设施进行连接。

交换机互连

在交换机互连上,可选择采用全新OSFP封装 2xNDR (800Gbps) 光模块进行两台QM97XX交换机的互连,带鳍的设计,可以大大提高光模块散热性。

交换机和HCA互连

交换机和HCA的互联上,交换机端采用OSFP封装2xNDR (800Gbps)带鳍光模块,网卡端采用带有扁平OSFP 400Gbps光模块,MPO光纤跳线可提供3-150米,一对二分光器光纤可提供3-50米。

交换机到HCA的连接也提供DAC(最长1.5米)或者ACC(最长3米)的解决方案,一对二式分接线缆可用于交换机的一个OSFP端口(配备两个400Gb/s InfiniBand端口)和两个独立的400Gb/s HCA。一分四式分接线缆可用于连接交换机的一个OSFP交换机端口和四个200Gb/s HCA。

公众号
电话
027-5972 6363
购物车
0