0
简体中文

新闻中心
见行见新,洞悉未来

一文了解AI服务器
2023-05-16 160

服务器主要硬件包括处理器、内存、芯片组、I/O (RAID卡、网卡、HBA卡) 、硬盘、机箱 (电源、风扇)。以一台普通的服务器生产成本为例,CPU及芯片组大致占比50% 左右,内存大致占比 15% 左右,外部存储大致占比10%左右,其他硬件占比25%左右。

服务器的逻辑架构和普通计算机类似。但是由于需要提供高性能计算,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

逻辑架构中,最重要的部分是CPU和内存。CPU对数据进行逻辑运算,内存进行数据存储管理。

服务器的固件主要包括BIOS或UEFI、BMC、CMOS,OS包括32位和64位。

服务器市场规模持续增长

根据 Counterpoint 的全球服务器销售跟踪报告,2022年,全球服务器出货量将同比增长6%,达到 1380 万台。收入将同比增长 17%,达到1117 亿美元。根据IDC、中商产业研究院,我国服务器市场规模由2019年的182亿美元增长至2022年的273.4亿美元,复合年均增长率达14.5%,预计2023年我国服务器市场规模将增至308亿美元。

目前,AIGC产业生态体系的雏形已现,呈现为上中下三层架构:①第一层为上游基础层,也就是由预训练模型为基础搭建的AIGC技术基础设施层。②第二层为中间层,即垂直化、场景化、个性化的模型和应用工具。③第三层为应用层,即面向C端用户的文字、图片、音视频等内容生成服务。

回顾GPT的发展,GPT家族与BERT模型都是知名的NLP模型,都基于Transformer技术。GPT,是一种生成式的预训练模型,由OpenAI团队最早发布于2018年,GPT-1只有12个Transformer层,而到了GPT-3,则增加到96层。其中,GPT-1使用无监督预训练与有监督微调相结合的方式,GPT-2与GPT-3则都是纯无监督预训练的方式,GPT-3相比GPT-2的进化主要是数据量、参数量的数量级提升。

未来异构计算或成为主流

异构计算(Heterogeneous Computing)是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式,目前主要包括GPU云服务器、FPGA云服务器和弹性加速计算实例EAIS等。让最适合的专用硬件去服务最适合的业务场景。

在CPU+GPU的异构计算架构中,GPU与CPU通过PCle总线连接协同工作,CPU所在位置称为主机端 (host),而GPU所在位置称为设备端(device)。基于CPU+GPU的异构计算平台可以优势互补,CPU负责处理逻辑复杂的串行程序,而GPU重点处理数据密集型的并行计算程序,从而发挥最大功效。

越来越多的AI计算都采用异构计算来实现性能加速。

CPU 适用于一系列广泛的工作负载,特别是那些对于延迟和单位内核性能要求较高的工作负载。作为强大的执行引擎,CPU 将它数量相对较少的内核集中用于处理单个任务,并快速将其完成。这使它尤其适合用于处理从串行计算到数据库运行等类型的工作。

GPU 最初是作为专门用于加速特定 3D 渲染任务的 ASIC 开发而成的。随着时间的推移,这些功能固定的引擎变得更加可编程化、更加灵活。尽管图形处理和当下视觉效果越来越真实的顶级游戏仍是 GPU 的主要功能,但同时,它也已经演化为用途更普遍的并行处理器,能够处理越来越多的应用程序。

AI服务器作为算力基础设备持续增长

AI服务器作为算力基础设备,其需求有望受益于AI时代下对于算力不断提升的需求而快速增长。根据TrendForce,截至2022年为止,预估搭载GPGPU(General Purpose GPU)的AI服务器年出货量占整体服务器比重近1%,预估在ChatBot相关应用加持下,有望再度推动AI相关领域的发展,预估出货量年成长可达8%;2022~2026年复合成长率将达10.8%。

AI服务器是异构服务器,可以根据应用范围采用不同的组合方式,如CPU + GPU、CPU + TPU、CPU +其他加速卡等。IDC预计,中国AI服务器2021年的市场规模为57亿美元,同比增长61.6%,到2025年市场规模将增长到109亿美元,CAGR为17.5%。

AI服务器构成及形态

AI服务器主要构成:以浪潮NF5688M6 服务器为例,其采用NVSwitch实现GPU跨节点P2P高速通信互联。整机8 颗 NVIDIA Ampere架构 GPU,通过NVSwitch实现GPU跨节点P2P高速通信互联。配置 2颗第三代Intel® Xeon® 可扩展处理器(Ice Lake),支持8块2.5英寸NVMe SSD or SATA/SAS SSD以及板载2块 SATA M.2,可选配1张PCIe 4.0 x16 OCP 3.0网卡,速率支持10G/25G/100G;

可支持10个PCIe 4.0 x16插槽, 2个PCIe 4.0 x16插槽(PCIe 4.0 x8速率), 1个OCP3.0插槽;支持32条DDR4RDIMM/LRDIMM内存,速率最高支持3200MT/s,物理结构还包括6块3000W 80Plus铂金电源、N+1冗余热插拔风扇、机箱等。

目前按照GPU数量的不同,有4颗GPU、8颗GPU 以及16颗GPU(NVIDIA DGX-2)的AI服务器。

AI服务器核心组件包括GPU(图形处理器)、DRAM(动态随机存取存储器)、SSD(固态硬盘)和RAID卡、CPU(中央处理器)、网卡、PCB、高速互联芯片(板内)和散热模组等。

AI服务器应用场景

基于AI服务器的优势,AI服务器在医疗、搜索引擎、游戏、电商、金融、安防等行业有着广泛的应用。  

1、医疗影像智能分析场景:通过机器视觉、知识图谱、深度学习等人工智能技术,模拟医疗专家思维,推理整断,帮助医生定位病情,辅助做出诊断。  

2、人脸识别、语音识别、指纹识别场景:通过深度学习、机器学习等技术,可实现图片,视频等图像资料训练。  

3、安防监控场景:利用知识图谱技术、深度学习等技术,可以应用到人体分析、图像分析、车辆分析、行为分析等安防场景中。  

4、零售预测场景:通过机器学习,基于门店历史销售数据,可以精准的对未来销售进行预测,为经营者提供更准确的决策分析。此外,在零售行业中,常见的还有无人售卖、人脸支付等应用场景。  

5、金融服务场景:通过语音、唇形、表情合成技术和深度学习等技术,克隆出与真实面审员一样AI视频面审员,可以准确无误的与客户进行多轮面谈。  

除此外,还有信贷微表情识别系统应用场景。

公众号
电话
027-5972 6363
购物车
0