中国线缆网欢迎您!

免费注册

2025年高速铜缆有望新增60亿美元市场,GB200铜互联在 AI Scaleup场景成为性价比最优方案

GB200带动高速铜连接爆发  AI Scaleup高速铜缆性价比最优

GB200创新使用铜缆线背板互联引关注,高速铜互联在AI柜内场景已具有成熟经验。英伟达GB200 NVL72通过NVLINK5将72个B200组成一个”超级GPU”。英伟达在2024GTC大会上发布GB200超级芯片以及NVL72机柜,通过高速铜缆互联形如一颗超级GPU。具体来看,每个NVL72机柜由18个compute tray和9个NVLINK Switch tray组成,每个compute tray包括2颗GB200超级芯片,每颗GB200超级芯片由2颗B200 GPU和一颗Grace CPU通过NVLINK C2C (单向450GB/s)连接而成。而每台NVLINK Switch则由两颗NVLink Switch4芯片组成,交换带宽为28.8Tb/s*2。每颗B200芯片通过NVLink5共900GB/s单向带宽(共36*224G SERDES)分别连接到18颗NVLink Switch4,而高速铜缆互联主要应用的场景正是B200芯片与NVLink Switch的互联。此外,每颗B200均配置了CX7或CX8网卡,通过400Gb或800Gb IB网络scaleout互联,对应每台compute tray 2个OSFP 800G或1.6T端口。

GB200 NVL72系统架构

NVL72的高速铜连接架构设计:NVL72使用一层NVSwitch交换架构连接了72颗B200,这主要通过背板连接器到线背板再到交换芯片的跳线完成。根据Semianalysis的分析,每个BlackwellGPU都连接到一个安费诺Paladin HD 224G连接器,每个连接器有72个差分对(对应每颗B200 900GB/s*8*2的NVLINK收发带宽),连接到背板Paladin连接器后接下来使用了SkewClearEXD Gen2电缆背板连接到Switch tray的Paladin HD背板连接器(每个连接器有144个差分对),再通过OverPass跳线电缆连接到NVSwitch芯片。

NVL72 overpass和背板连接示意图

因此实际上GB200 NVL72使用了定制的高密度背板连接器和线背板模组来解决72颗B200与18颗NVLink Switch的机柜内互联,而为了解Switch tray上PCB密集高频信号的串扰问题,还使用了OverPass近芯片跳线连接到背板。

NVL72机柜背部使用了密集的线背板互联

NVL72 NVSwitch Tray使用了OverPass跳线(图中蓝色线)

NVL36*2的高速铜连接架构设计。英伟达对于NVL36*2的定位是满足某些机柜功率、风冷散热有限制条件的客户需求,NVL36机柜的最大区别一是同样配置了9个Switch tray(18颗NVLink Switch4芯片),相当于交换容量翻倍,二是是使用了可扩展的NVLINK Switch tray,两台NVL36机柜之间通过短距ACC铜缆互联。对于线背板和交换芯片跳线,NVL36采用了与NVL72相同的设计,相应的由于GPU数量减半,线背板和OverPass使用的电缆数量也近乎减半。但由于要实现两台NVL36的互联,每套NVL36*2系统将需要额外的162根1.6T ACC电缆互联,而为了将NVLINK Switch一半的带宽连接到前面板,英伟达还使用了安费诺的Densilink跳线产品,因此NVL36*2整体上跳线的用量是较NVL72基本相当的。

GB200 NVL36互联网络架构

两个NVL36机柜通过柜外线ACC连接

除英伟达外,高速铜互联在AI短距离场景已有成熟经验,dojo/谷歌等均使用定制铜缆或DAC&AEC作为短距互联方案。以谷歌为例,其TPUv4服务器设计TPU和CPU板卡是分开的,使用PCIE外部线进行连接而在TPU互联域,谷歌使用的是3D torus网络架构,每颗TPUv4具有6*50GB/s ICI带宽,其中2条ICI链路在tray内通过PCB互联,3条链路使用400G DAC铜缆在机柜内与其他TPU tray互联,剩余1条链路通过400G FR4光模块连接OCS光交换机。特斯拉自研芯片dojo机柜的设计则更加独树一帜,其基本芯片单元为D1芯片,25个D1芯片组成一个Training Tile,12个Training Tile组成一个服务器机柜,算力达109PFlops。为实现Training Tile之间的高速互联,特斯拉定制了通信协议,每片Tile的每一边通过10个900GB/s定制连接器和线缆组件实现9TB/s的超大带宽。

谷歌在TPUv4机柜中使用铜缆进行ICI机柜内互联(图中红色部分)

Dojo training tile之间通信采用定制连接器和组件实现每边9TB/s的高速率

铜缆是AI高速高密度场景下当前通信性价比最优解。聚焦铜互联:铜互联主要应用于芯片间互联及柜内互联等等短距离场景,传输距离通常在10米及以下。铜互连指的是主要使用铜作为材料的电信号通信方式(因其导电导热性能好,可塑性强),因此其涵义其实包括了芯片内互联走线(在芯片制造时实现)、芯片间(chiplet)走线(通常在基板上完成)、模组间走线(在PCB上完成)、PCB板间通信(一般通过背板、连接器或铜缆完成)以及机框之间通信(一般通过铜缆或光模块)。

铜互联应用场景示意图

铜连接不同场景的典型距离

在224Gbps速率下,cable (铜缆)是SERDES LR (米级)最建议的电信号通信方式。随传输速率增加,传统PCB信号衰减程度快速提升,采用增加层数和更换新型材料则会使成本明显提升,因此cable传输代替PCB成为有效解决方案。如图所示,横轴代表信号频率,纵轴代表信号强度(dB负值越大衰减越严重),PCB信号(红色、粉色、黄色)的下降斜率较cable (绿色、蓝色)陡峭的多。根据OIF对SERDES LR的测试数据,在224G速率下,cable可传输1米,是建议的通信手段。

不同速率的SERDES-LR在cable的传输距离

PCB的高频衰减曲线较cable陡峭许多

Al Scaleup需要怎样的通信技术?综合考虑距离、功耗、密度、串扰、成本。Scaleup指的是使用统一物理地址空间将多GPU组成一个“超级GPU”节点,随着大模型参数的快速提升,扩大Scaleup域有助于张量并行效率更高,并且简化了AI算法编程。NVLINK是英伟达GPU实现Scaleup的主要通信方式,其通过NVLINK Switch实现节点内高速交换。NVLINK Switch 3最高连接8枚GPU,而NVLINK Switch 4最多可扩展576个,GB200 NVL72、NVL36*2的Scaleup域为72个GPU。在8颗GPU互联时,NVLINK主要通过PCB进行intra-board通信,距离通常在1米内;而72颗GPU互联达到了intra-rack、相邻rack通信,距离通常在1米至5米,因此距离成为GB200选择铜缆互联的最主要因素。除此之外,与光通信(AOC、CPO)对比,根据TheNextPlatform报告,铜缆的cost成本仅为AOC的十分之一,虽然CPO在功耗、密度、距离都更有潜在优势,但当前产业链还不成熟,其对客户机房改造、服务器设计等“潜在成本”是要高出不少的。

不同通信手段功耗、成本、密度、距离对比

不同距离的通信场景适用的通信手段

铜缆互联是NVL72&36机柜内、机柜间短距互联的性价比最佳方案。GB200机柜compute tray与Switch tray之间的传输距离约为0.5-1米,英伟达使用了定制化的线背板模组cartridge结合高密度背板连接器来实现背板的互联,较PCB可行度更高、较光模块成本更低。而在Switch tray交换芯片到背板、前面板英伟达则使用了安费诺的OverPass、Densilink近芯片跳线方案,以避免PCB可能出现的高频信号串扰、信号衰减过快问题。在NVL36相邻机柜间,英伟达或选择有源铜缆ACC方案,较光模块成本更低、功耗更低。

预计2025年高速铜缆新增市场近60亿美元

GB200高速铜缆市场分析:预计2025年高速铜缆新增市场近60亿美元。目前市场主要使用两种方式测算NVL72内部线单机柜价值量,且可以相互验证。

一是根据英伟达在GTC2024上的介绍,NVL72使用铜缆互联较光模块节省了6倍的成本。首先计算采用光模块需要的采购成本:

B200 单 GPU NVLINK I0 带宽为1800GB/s双向,即900GB/s(相当于7200Gb/s)单向,如果采用800Gb/s多模光模块需要9*2=18只(收发各一个连接compute tray和Switch tray),NVL72需要72*18=1296只光模块。根据帕米尔研究的报告,800G多模当前的市场ASP在430美金左右,故NVL72需要的800G光模块成本为55.7万美元。与此对比,铜缆互联的成本预计在六分之一的9.3万美元左右。

二是根据高速铜缆的量价关系测算

1)单颗B200芯片的单向IO带宽为7200Gb/s,如果采用200Gb/s的高速差分铜线收发共需要72根,故NVL72需要5184根高速差分铜线。

2)该高速铜线需要从compute tray的背板连接到Switch tray的背板(平均距离0.5-1.5米),再从Switch tray背板连接到NVLINK Switch芯片(平均距离0.5米),因此若计算端到端单根铜线的平均长度在1.5米左右。NVL72需要约7800米的铜线。

3) 价格方面,Lightcounting在《High speed cables, linear drive and co-packaged optics》报告中给出的1.6T DAC和AEC 2025年的ASP分别为259美金和405美金,假设1.6T ACC 的ASP折中为330美金。假设1.6T ACC平均长度1.5米,由于单根ACC包括了16根200Gb/s单通道裸线,单根200Gb/s铜线每米的价格约为13.8美金。

4)以上铜线价格为组件层面,包括了连接器、结构件以及毛利润,我们假设内部线成本结构与之类似,可得到NVL72机柜内部线组件的价值约10.7万美金。且若根据距离来判断,其中背板和跳线的铜线价值量约2:1关系。

对于NVL36机柜,其包括了内部线和相邻机柜连接的1.6T ACC。主要变化为compute tray数量减半,但Switch tray数量相等。按照以上量价测算法,得到NVL36内部线铜缆长度为5184米左右,价值量约7.2万美金。

外部线ACC部分。NLV36 Switch tray包括两颗28.8Tb/s交换容量的芯片,一半带宽用于相邻机柜连接,故Switch tray前面板的IO带宽为28.8Tb/s,如果采用1.6T端口,需要18个,即2*NVL36系统需要162条1.6T ACC铜缆,其价值量约为5.3万美金。

此外,仍有短距scaleout网络使用到DAC&ACC。根据Semianalysis的测算,ACC、DAC还会用于InfiniBand网络compute tray与柜顶交换机的互联以及带外管理网络compute tray与管理交换机的互联,在NVL36*2 CX-8配置下,这些价值量合计1.02万美元。

总结:根据以上测算,NVL72机柜的高速铜缆合计11.7万美金,而NVL36机柜的价值合计10.4万美金。根据Trendforce,2025年GB200机柜合并出货有望达到6万台,其中NVL36可能达到5万台。以此为核心假设根据以上价值量测算,得到2025年GB200机柜的铜缆市场将达到约64亿美元。

【免责声明】凡本网站注明"来源:中国线缆网"的作品,均为本站原创,转载请注明“来源:中国线缆网”!凡本网站注明“来源:XXX(非中国线缆网)”的作品均来源于互联网,转载出于传递和分享更多信息之目的,并不意味着赞同其观点或对其内容真实性负责,文章仅供参考。如本网站转载内容涉及版权等问题,请速与我们取得联系,我们将及时修改或删除。联系方式:400-107-5009。
- 分享 -
点赞

系统提示