核心观点
数据中心网络架构加速向高速率带宽迭代:AI算力需求大幅增长,通信网络带宽速率提升势在必行。以全球两大网络通信协议以太网和InfiniBand为例,2025年预期将发布的 PCIe 7.0将提供比PCIe 6.0翻倍的双向传输带宽;2025年将发布的InfiniBand GDR每通道传输速率提升至400 Gb/s,4通道速率将达到1.6Tb/s水平,数据中心网络架构加速向高速率带宽迭代。
短距通信场景铜互联相对优势明确:铜连接产品在数据中心高速互联中一直扮演着重要角色。在数据中心能耗攀升,以及建设成本高企的背景下,铜互联在散热效率、低功耗、低成本方面有着一定优势。行业龙头英伟达在最新的GB200 NVL72大机柜中大量采用铜连接方案,实现性能、能耗和成本的平衡。
顺应趋势,高速铜缆持续升级:伴随Serdes速率逐步从56G、112G向224G升级,单端口速率将基于8通道达到1.6T,高速传输成本有望大幅下降,对应铜缆速率也向着224Gbps演进。为解决高速铜缆的传输损耗问题,AEC、ACC通过内置信号增强芯片提升传输距离,铜缆模组生产工艺也在同步升级。
投资建议:铜缆在短距通信领域有相对优势,英伟达已在新产品大量采用铜互联方案,建议在铜互联持续向高速率升级趋势下,关注产业链相关标的:安费诺、泰科、莫仕、Credo、Astera Labs、Macom、先科电子、立讯精密、鸿腾精密、兆龙互连、金信诺、神宇股份、中航光电、鼎通科技、华丰科技、沃尔核材、新亚电子、精达股份、方邦股份等。
正文
1 数据中心网络架构加速向高速率带宽迭代
大模型及应用对算力基础设施要求较高,需要稳定、高效、安全的数字基础设施来支持其完成生成、存储、传输的整个交互过程,随之带来了对计算能力前所未有的需求。根据中国智能算力产业联盟数据,在AIGC的驱动下,对AI算力的需求呈指数级增长,大约每1-2个月翻一番。
数据中心设备间互联成为制约数据中心整体系统算力提升的瓶颈,通信网络带宽速率提升势在必行。以历代PCIe协议为例,2003年PCIe1.0发布,单通道传双向带宽为500MB/s,传输速率为2.5 GT/s;目前最新的PCIe 6.0 规范于2021年发布,传输速率提高至64GT/s,根据PCI-SIG发布的技术路线图,2025年预期将发布的 PCIe 7.0,最大数据速率将达到128.0GT/s,通过16通道提供高达512GB/s 的双向传输带宽。
以InfiniBand为例,自2002年起,SDR正式发布,可支持的每通道传输速率仅为2.5 Gb/s,此后协议持续升级,2023年XDR发布,每通道传输速率为200 Gb/s, 将在 2025年发布的GDR每通道传输速率提升至400 Gb/s,4通道速率将达到1.6Tb/s水平。
2 短距通信场景铜互联相对优势明确
铜连接产品在数据中心高速互联中一直扮演着重要角色,特别是在服务器内部和Server-Top of Rack的短距离传输场景下,铜连接对于散热效率和信号传输以及成本方面有着显著的优势。因此铜互连仍是当下以及未来许多应用中最具成本效益的解决方案。
根据Light Counting,全球无源直连电缆DAC和有源电缆AEC的市场规模将分别以25%和45%的年复合增长率增长,在全球范围内,大型人工智能集群以及长距离的型号传输主要依赖光通信,而较小的数据中心系统仍将主要使用电缆。
2.1. 数据中心能耗攀升,铜互联拥有低功耗优势
数据中心总耗电量持续高速增长,在全球范围内,根据国际能源署 (IEA)的数据可知,2022年全球数据中心的耗电量为460TWh(相当于全球总用电量的2%),2026年可能会升至1,000TWh以上。根据工信部数据,截至 2022年底,我国在用数据中心机架规模达到 650 万标准机架,2022年,我国数据中心总耗电量达到 766 亿 kWh,占全社会耗(86372亿kWh)的0.9%。
数据中心功率密度和端口功率快速提升。根据华为数据,随着算力和带宽的快速升级,数据中心单机柜的功率密度每五年翻一番,单端口功率随速率代际翻一番,数据中心的能耗呈现指数型增长,降低单位算力能耗趋势明确。
2010年至2022年间,交换机芯片带宽容量从640 Gbps 增长到了51.2 Tbps,80倍的带宽增长带来了22倍的系统总功耗提升,其中光学元件功率(26倍)的功耗提升尤为明显。
铜缆互联由于不涉及光电转化,因此具有低功耗特点,相比于有源光缆(AOC),目前的铜直接连接电缆(DAC)的功耗小于0.1 W,可以忽略不计,有源电缆(AEC)亦可将功耗控制在5w以内,可在一定程度上降低算力集群整体功耗。
2.2.数据中心建设成本高企,铜互联拥有降本优势
全球云厂商龙头资本开支保持高增速,今年Q1以来部分云厂商持续上调全年Capex支出预期,同时各大厂商均表示2024年Capex的主要投入将用于AI业务相关建设。
AI数据中心建设成本大幅提高,根据Dell’Oro,一台AI加速服务器相较于传统服务器物料成本大幅增长,除了新增的GPU以外,其他通信、存储、电源、组装相关成本均大幅提升。
成本考量下铜互联性价比突出。在铜缆可触达的高速信号传输距离内,相比光纤连接,铜连接方案的成本较低,此外,铜缆模组在短距离内可以提供极低延迟的电信号传输并具有高可靠性,不会出现光纤在某些环境下可能出现的信号丢失或干扰风险。同时,铜缆的物理特性使得它更易于处理和维护,并且其具有高兼容度并不需要额外的转换设备。
2.3.行业龙头先行,大量采用铜互联
英伟达于2024年3月发布最新一代Blackwell架构GPU,在专为AI和高性能计算任务设计的数据中心服务器架NVIDIA GB200 NVL72大机柜中采用了大量的铜连接方案,主要用于连接机柜内的GPU和Switch,确保数据在不同处理单元间的迅速和准确传输。
GB200 NVL72采用机架级设计,可连接36个Grace CPU和72个Blackwell GPU,与上一代 H100 相比GPU快6倍,为1.8T参数GPT-MoE等资源密集型应用提供了30倍的加速,在相同功耗下提供 25 倍的性能。性能提升、成本降低的关键是铜缆的运用,机器背面共有约5000根NVLink电缆,总长度达2英里。如果使用光传输,就必须使用光模块和retimer,这两个器件仅仅驱动NVLink主干就耗电20kw,而铜缆连接方案整个机架耗电120kw,20kw的差异使得整个方案得以优化。
预计采用Blackwell平台产品的厂商众多,包括AWS,Google,Meta,Microsoft,OpenAI,Oracle,Tesla等。2024年3月18日Microsoft宣布将 NVIDIA GB 200引入 Microsoft Azure;Google宣布采用新的 NVIDIA Grace Blackwell AI 计算平台以及 Google Cloud 上的 NVIDIA DGX Cloud 服务。Oracle 宣布在 OCI 超级集群、OCI 计算和 NVIDIA DGX Cloud on OCI 中采用 NVIDIA Grace Blackwell以建立数字主权并管理专有的国家和个人数据。
3 顺应趋势,高速铜缆持续升级
目前铜缆模组主要分为DAC,AEC,ACC三种。其中DAC(Direct Attach Cable)无源直连铜缆两端是简单的电缆连接器,成本较低;AEC(Active Electrical Cable)和ACC(Active Copper Cable)均为有源电缆,相比无源DAC传输距离更长。
3.1.高速率向224Gps迭代
随着数据中心400G和800G速率网络成为主流,1.6T升级趋势明确,目前主流用于通信领域的Serdes速率在56G和112G,在即将到来的224G时代,数据中心通信单端口速率将基于4通道达到800G,8通道达到1.6T,成本有望大幅下降。与之对应的铜连接单通道速率也向着更高的112Gbps和224Gbps演进。
英伟达伴随Blackwell架构发布的最新一代NVLink Switch芯片,支持72个端口,每个端口规格为2通道,单通道200Gbps,单颗Switch芯片最大支持7.2TB/s的双向带宽,并直接驱动铜缆模组实现高速互联。
3.2.芯片+芯线工艺降低传输损耗
电连接在向更高传输速率演进的过程中,信号的多电平脉冲幅度调制是相对明确的趋势,以目前高速信号主流采用PAM4(4-Level Pulse Amplitude Modulation)信号技术为例,比传统NRZ(Non-Return-to-Zero)信号多了两个电平,在相同符号周期内,PAM4信号的比特速率是NRZ信号的两倍。
而PAM4信号电压电平之间的间隔较小因此更容易受到外界环境(尤其是噪声)的干扰,因此在传输距离和散热方面存在挑战,以DAC为例,在400G速率下使用距离通常小于3米。
ACC和AEC通过内置信号增强芯片确保更长距离的高速传输。其中ACC一般通过Redriver芯片在Rx端通过CTLE均衡调整增益实现放大信号;而AEC通常使用Retimer芯片在放大和均衡Tx和Rx端信号同时还会在Rx端重新做信号整形。相较于DAC,ACC和AEC由于内置信号增强芯片,因此在铜缆的选择上可以采用较为轻薄、线径较小的芯线,一般可以采用32 AWG以下的铜缆。
ACC有源线缆一般需要在接收端内置均衡器,均衡器产生与信道特性相反的特性,用来减小或消除由于码间干扰引起的信号失真,以达到更长距离的有效信号传输。
伴随铜缆模组产品升级,高速线缆工艺要求进一步提升。高速线缆生产一般包括绝缘芯线押出、平行对绕包、平行对成缆、线材编制、线材外被押出以及成品测试6大工序。线缆向高速率升级过程中,对于线缆各项工艺也提出更高要求,比如更少的芯线表面损伤,单线缆包含更多的平行对以及更好的对于信号串扰屏蔽等。
4 建议关注
顺应数据中心通信网络架构升级,铜连接模组向着更高带宽速率演进的同时,在短距通信场景下的低功耗,低成本等方面有着出色表现。同时伴随行业龙头英伟达新一代Blackwell架构芯片产品以及NVL36/72解决方案逐步上量,其GPU之间以及柜内连接采用的高速铜缆连接方案有望成为数据中心硬件通信的核心解决方案之一,相关供应链有望随之迎来增长机遇。
安费诺(Amphenol)作为英伟达重要供应商,是全球领先的高速互连解决方案厂商,安费诺拥有多个基于单通道224G速率解决方案,包括Paladin,OverPass,UltraPass,ExtremePort,UltraPort等线端、板端连接器以及配套线缆平台,可支持数据中心系统内多个芯片及设备间的224G高速直接互联。
泰科(TE Connectivity)提供全球领先AI和数据中心的224G解决方案。TE 224G产品组合通过设计准芯片级和封装电缆解决方案,提高了覆盖范围,降低了插入损耗,通过优化阻抗,TE 224G改善了回波损耗并减少了串扰,从而提高了带宽性能,支持QSFP、QSFP、SFP、SFP-DD、OSFP-XD、QSFP-DD、CDFP 等一系列连接器、壳体和电缆组件等产品。
莫仕(Molex)提供支持数据中心纵向、横向扩展架构的全面产品系列,公司224G 产品和解决方案组合涵盖板对板、背板、线端连接器,以及OSFP 1600、QSFP 800、QSFP-DD 1600等线缆模组产品。
Credo在SerDes架构、AEC有源电缆、线卡PHY、DSP等领域拥有全球领先的技术实力,公司HiWire有源电缆 (AEC) 现有产品通过内置retimer,gearbox, PCS, 以及FEC terminations可支持100G到1.6T速率传输,距离涵盖从0.5米至7米的短距和中距信号传输。
Astera Labs专注于数据中心连接解决方案,公司借助自身PCIe Retimer产品的深厚技术积累,在有源电缆AEC领域推出Taurus系列电缆模块,可实现使用线径更小的铜缆芯线在长达7米的范围内完成有效传输,目前产品涵盖200G至800G速率。
Macom提供高性能Linear Equalizer用于以太网、InfiniBand的高速铜连接,支持50 G至1.6T铜缆组件,可支持每通道高达112 Gbps的数据速率。公司最新的MAEQ-40904四通道113.5GBaud (227Gbps) PAM4 线性均衡器,通过单通道信号增强高达16dB来扩展ACC传输距离。
先科电子(Semtech)最新发布的Copper Edge GN8112四通道112Gbps PAM4 线性均衡器,用于使用铜缆和背板互连的下一代 400G (4x100G) 和 800G (8x100G) 数据中心互连,GN8112可以将铜缆在112Gbps PAM4数据速率下的ACC传输距离延长至5米。
立讯精密在数据中心高速互联领域,协同头部厂商共同制定800G、1.6T等下一代高速连接标准。公司在铜连接方面已基于自主研发的Optamax散装电缆技术,开发了112G PAM4 DAC、112G PAM4(ACC),另外公司基于OSFP224G连接器样品初步SI测试数据已完成,同时研发224G互联解决方案。英伟达GB200 NVL72 单柜整套可以提供约209万元的解决方案,包含电连接、光连接、电源管理、散热等产品,预计大机柜产品可触达总市场规模将达到千亿元。
鸿腾精密(FIT)专注于电子及光电连接器、天线、电声器件等领域,FIT在2024 DesignCon 发布其224G高速I/O产品,采用Synopsys 224G PHY IP。另外高速率传输领域公司持续投入研发,曾开创性的推出直连芯片接触点和跳线的高速连接器,有效消除信号损失,缩短芯片和连接器之间的路径,最大化传输效率。
兆龙互连的高速DAC、ACC产品涵盖从10G到800G速率,包括SFP56/SFP112/QSFP56/QSFP112/QSFP-DD 400/QSFP-DD 800以及OSFP 800(DAC)等多种封装,广泛应用于存储区域网络、数据中心和高性能计算机连接,可大幅降低数据中心建设运维成本及制冷能耗。
金信诺在高速裸线方面公司积累了独特的信号稳相、ePTFE绝缘、单通道双屏蔽等核心技术;高速组件及连接器方面公司产品应用于Birch Steam平台(pcie5.0)已实现大批量稳定交付国内外一流客户,同时公司已基本开发完成匹配英特尔下一代平台Oak Stream(pcie6.0)的相关产品。在交换机侧,公司已完成800Gbps(QSFP-DD & OSFP)相关产品的开发,目前正在研发下一代1.6T 224Gb/s相关产品。
神宇股份高速数据线传输线产品主要包括USB4.0、Thunderbolt4、光电复合线、DAC高速数据线等。公司在高频率数字信号传输极细同轴电缆、平行高速传输线缆等一系列技术持续投入研发。
中航光电连接器产品目前已形成了不同节点排列、不同传输速率的产品谱系,高速线缆模组领域,公司具备内部标准I/O、外部标准I/O、近封装NCP模组、高速背板模组等多种接口类型,最高传输速率达到112Gbps,可支持800G AI数据中心互连系统的传输需求,同时公司积极布局新一代高速应用场景,谋划开展新产品的开发和研制。
鼎通科技在高速通讯连接器及组件领域主要布局包括:高速背板连接器组件和I/O连接器组件,按工艺可分为精密结构件和壳体(CAGE)。公司持续与直接客户(如莫仕、安费诺、泰科电子等)拓展产品品类,着力开发QSFP112G和QSFP-DD等系列产品并对散热器部件不断进行优化,目前公司产品单通道速度的需求现已达到112G。
华丰科技在通讯类产品聚焦背板连接器、电源连接器、射频连接器、线缆组件等产品技术,公司高速背板连接器产品传输速率已达112Gbps,目前正在持续开发优化224Gbps产品。
沃尔核材在高速通信线方面子公司乐庭智联生产的高速通信线主要应用于数据中心、服务器、交换机/工业路由器等的数据信号传输,目前400G高速通信线已完成稳定量产,800G高速通信线已完成多种规格的产品开发,该系列产品线材柔软、线径小,具有高频、高传输速度的性能,部分规格已通过客户验证并小批量供货。
新亚电子传输线缆系列包括DIIUA、DISPLAYPORT、MHL、QSFP28、HDMI1.3、E-SATA、SAS3.0&SAS4.0、USB3.0等,其中QSFP28采用镀银铜线作为导体,绝缘体采用FEP或PE或PE+skin以提升数据传输效率,并广泛应用于服务器存储、以太网、高性能计算、云计算中心、交换机等场景。
精达股份子公司恒丰特导深耕高速连续电镀银、电镀镍、电镀锡工艺技术,高速电解除油处理技术、电镀电解除氧化技术、高速电解预镀技术、高速电解主镀技术及高速电解后处理技术。电镀时,严格控制各类电解药水的成分,防止因导体油污、氧化而导致的电镀结合率差。本工艺的实施,可使最终获得的电镀导体镀层组织细小、均匀、致密,有助于综合提高产品性能。
方邦股份铜箔产品包括带载体可剥离超薄铜箔、复合铜箔、标准铜箔等。其中复合铜箔主要由PET(或PP)铜箔结合而成,可应用于高速电缆,起到屏蔽功能。其中PET复合铜箔铜厚1-1.5μm,拉伸强度超过30kg/mm²,延伸率实现大于5%。目前公司持续推进下游测试认证工作,并在高频高速电缆屏蔽领域已取得小批量订单。
本文作者:张益敏(执业证书编号:S0160522070002),来源:财通电子研究,原文标题:《铜互联,数据中心通信网络重要解决方案》