新闻中心

见行见新，洞悉未来

以 ChatGPT 为代表的生成式 AI 有大算力、大数据、大模型的典型特点，首先，其基于大规模无标注数据进行预训练，再通过少量标注微调，大幅降低了对数据标注要求；其次，生成式 AI的预训练大模型具有多模态（文字、图片、程序、视频等）、跨模态（“文生文”“文生图”“图生图”）内容生成能力，有较强的通用性和跨场景使用能力。此外，与传统 AI 相比，生成式 AI能够更有效地捕捉用户的意图，以理解上下文，使对话更流畅自然，具有更强的逻辑和组织能力。

生成式 AI 大模型对数据中心网络的影响主要体现在模型训练所使用的高性能集群，大模型训练需要在传统数据中心网络中为高性能集群的每个POD单独构建一个高速数据交换平面，用于不同服务器上的 GPU 间远程直接数据存取（remote direct memory access，RDMA）数据传输。高速数据交换平面需要有如下能力。

（1）高带宽

大模型训练需要将算法、数据拆分到数百或者数千块GPU卡上，因此GPU卡间需要较高的互联带宽。当前服务器内部GPU之间的互联总线带宽已经达到数太比特每秒，而单个服务器对外仅能提供200 Gbit/s×8合计1.6 Tbit/s的接入能力，因此，服务器之间的网络带宽已成为制约AI集群性能的瓶颈。对于服务器之间的组网，国外大多采用 InfiniBand 网络，由于 InfiniBand网络技术封闭，国内更倾向采用 RoCE 无损以太网。当前无论是InfiniBand网络还是RoCE，都已经开始引入100 Gbit/s/200 Gbit/s接入端口和400 Gbit/s汇聚端口，并开始向800 Gbit/s端口能力演进。

（2）低时延

大模型的训练过程中跨GPU数据交换频繁发生，除高带宽外，低时延对于大模型的训练也非常重要。InfiniBand网络时延最低可以低于1 μs，采用 RoCE 技术的无损以太网时延目前在 5～10 μs水平，需要进一步优化。

（3）零丢包

RDMA传输对丢包的容忍度极低，千分之一的丢包率将导致传输效率急剧下降，2%的丢包率将导致RDMA吞吐率下降为0。因此，以太网承载RDMA协议时，丢包率要尽可能小，最好能做到零丢包。

除上述 3 个能力要求外，采用无损以太网构建高性能数据交换平面时，设备和组网模式对网络规模、性能也会造成一定影响。采用全盒式两层CLOS组网可以支持千块GPU卡全互联，而使用框式（Chassis）交换机单层CLOS组网即可实现千块GPU卡全互联，使用Chassis加盒式交换机两层组网可实现超大规模万块级 GPU 卡全互联，不过两层组网相较单层组网时延有少许增加。

除上述成熟的无损以太网设备组网模式外，还可以使用分布式解耦机框（distributed disaggregated chassis，DDC）新型组网模式。DDC可提供端到端确定性流控，基于信元交换的超低时延，其时延和无损性能可比肩 InfiniBand 网络，但目前技术和产品尚不成熟，还需要进一步发展完善。

对于中小模型的训练以及大、中、小各类模型的推理，不需要GPU间高速数据交换，当前数据中心网络技术和组网均可以满足，无须特殊的网络设计。