从挖矿时代来到AI时代,GPU的算力又有了用武之地。国内外云厂商们的算力储备竞赛正打得如火如荼……
字节已向英伟达采购了10万块A100与H800加速卡,超10亿美元(人民币超70亿元),仅字节一家今年的采购量就已接近英伟达去年在中国销售的商用GPU总销售额,另一家大型企业的订单金额也至少超过了10亿元人民币。
已使用了约2.5万个英伟达GPU的OpenAI表示GPU还很缺。每1亿活跃用户ChatGPT就需要13.5 EPLOPS的算力,约6.9万台NVIDIA DGX A100 80G服务器支撑,而目前全球的算力也只能支撑1亿日均上线人数,随着需求的增加未来预计还会增加。
在这些高端GPU的现货流通市场,就算是半个外行看到机会也跃跃欲试,满眼是“金砖”。
原本7.4万左右一枚的A800,现在涨到8.5万元以上,高配版则涨到10万元左右。4月底,市面上8卡A800模组的期货报价还在90万,交期2周,如今报价来到了100万以上,交期延长到7-8周。5月,A800甚至被炒至10万元一块。
“观望者交期更久,价格更贵。” 缺单卡的去买模组,买不到模组的后来都买了整机服务器。
从GPU单卡到模组再到AI服务器,涨价疯狂,缺货严重,货期越来越长,市场上需求真的如这般高涨吗?英伟达的GPU为什么会这么缺?此外,全新正品无法保障货期,二手市场、灰色渠道,定金交了就不退,围绕AI服务器的乱象正在上演……
01 英伟达GPU市场乱象
“一口气就要1000张、3000张,根本供不过来,这里面需求到底是真还是假?”
“销路好吗?我有路子搞到货,但怕砸手里。”
5月,英伟达的GPU仍在缺货涨价。
有代理商透露,英伟达A100价格从去年12月开始上涨,截至今年4月上半月,其5个月价格累计涨幅达到37.5%;同期A800价格累计涨幅达20.0%。
交期从一个月延长到三个月或更长,部分新订单“可能要等到12月才能交付”。
一些在AI服务器有数量优势的厂商,在勒紧裤腰带使用GPU资源。微软内部陷入AI服务器硬件短缺的窘境,采取“配额供给”机制。6月在被删除的OpenAI CEO Sam Altman 谈话纪要中提到,Open AI 也缺 GPU,GPU的短缺拖延了客户的许多短期计划。
站在人工智能浪潮上的“卖铲人”英伟达,如今几乎垄断了整个AI服务器芯片市场,成为最大赢家,不久前市值突破万亿,成为历史上第一家市值突破10000亿美元的芯片公司。
受到美国禁令影响,我国英伟达A100的现货直接被断供,国内可用于训练AI大模型的A100约有4万-5万个,供应相当吃紧,一些云服务厂商为给强力运算腾出资源,已严格限制内部使用。
而目前正常供应的A100阉割版——A800去年三季度才开始生产,加之新需求起势,面临供不应求,5月初,A800在国内已经涨到10万元一块。
一般来说,媒体报道说的高价A800、A100等,属于该系列中的顶配,即GPU 显存为80G,互连技术支持NVLink的版本。
市场上做GPU业务的朋友告诉我们,A800在现货市场的价格每天都在变,短期的汇率变动也会影响价格,“6月6日A800 PCle单卡报价8.5-8.8万,到6月9日最低报价可能就涨到8.6万了”。
随着紧缺和涨价行情愈演愈烈,出货、寻找GPU的参与者越来越多,GPU市场乱象由此开始:蜂拥而至的询价,走俏的期货市场与高额定金,以及二手渠道流出的大小“坑”……
最直接的感观是来自四面八方嘈杂的需求声,多位服务器整机、服务器GPU相关市场从业者反映,最近因为AI火爆的确很多人来询卡,问价格,但真正能成交的其实不多。
来找A800、A100这种单卡的,需求量少,看中价格,而需求量大的,一上来就要成百上千张,称是帮客户、朋友问,还有华强北贸易商出动,给人感觉都在套价格。
“一上来要这么多,哪供得上来?问他注重价格优势还是货期优势,就没有下文了。”“有的人几乎都没有货款,问完就没影了。”相对来说,企业自己采购的容易成交。
目前英伟达等企业级GPU的供应,有两种主要的流通渠道:一种是原厂-总代理-经销商-市场;另一种是原厂-OEM厂(服务器大厂)-经销商-市场。在现货市场流通的主要在经销、服务器方案或是二手市场。
这类企业级产品覆盖企业、学校和服务器方案商等下游客户。专注服务器业务的徐哥表示,来自阿里等企业的真实需求通常都是一笔大单,这些大客户都是优先找上一层的总代理或者服务器OEM处拿货,下一层体量小的经销商、服务器配件商很难接触到。也有媒体报道,云厂商人士称,字节、阿里等大公司主要是和英伟达原厂直接谈采购,代理商和二手市场难以满足他们的庞大需求。
现货市场真实需求不足,也不妨碍大家出来找货,现货被抢完,不得不预定期货,需要承受高额定金无法退回,以及可能遥遥无期的交期。
据了解,市面上A800单卡还有一定的现货,A100单卡几乎“绝迹”了,A800模组现货很少,也不得不选择期货。以一台8卡的A800模组为例,有卖家报价总价112万起,定金50%,货期7-8周,不保证准时到货(此前几天货期还是6周),且定金不退。而在4月底,另一位卖家的8卡A800模组,价格还在90万,定金30%-50%,交货周期2周。
一个多月的时间,可见一台8卡A800模组差价多出20多万,货期延长,定金也可能涨了。
一家自称是源头厂的卖家告诉我们,8卡模组的现货,要现货的买家已经排了5亿元的订单金额,现在只能等到货通知。
交定金,看似能提早排上队,但高风险并存。以8卡的A800模组为例,通常收50%的定金,一台顶配的80G NV A800模组100多万,定金至少50万,且一旦交了定金就不能退。网上有买家表示,今年三四月份订的10枚单卡,到现在还没拿到货。
不少卖家承诺的货期没有保障,基础价格高,定金比率也高,需要付出的真金白银就多了。如果没拿到货,就只能一直等,毕竟钱都交了。
如果你拥有一批A800、A100现货,在大家眼中那都不是普通的显卡,是金砖。
有人看到热度,想做GPU的生意但怕货砸手里,对于个别追逐利益的炒家来说,真实需求存疑,现货怕跌价砸手里,期货又怕拿不到货,甚至因为拿货时价格太高,得不偿失。
二手产品层出不穷,还有人专门高价回收二手AI 芯片,暂不说用在何处,这类GPU保修都是问题。
02 上游产能告急:先进制程不缺,到底卡在哪?
ChatGPT 火了之后,互联网企业、云厂商们更加广泛地布局AI大模型,争夺英伟达GPU的大算力,缺的不仅是A100、A800,更高端的H100、H800也一样。有人问,晶圆产能已经不缺了,为何GPU还会供不上来?
“每10年GPU性能增长1000倍”,“买的越多,省得越多”,黄氏定律 (Huang’s Law)要取代摩尔定律,虽然先进制程可以提高GPU的性能,但摩尔定律已经到头,而且服务器的用途,又区别于手机芯片对空间的苛刻要求。如果说先进制程是GPU的首选,先进封装则是锦上添花。
GPU用先进制程制造出来还不够,让封装体积小,功耗低,引脚少,实现芯片、芯片与封装基板之间更紧密的互连,是目前芯片制程限制下提高GPU性能的一大步。先进封装的四个魔法Bump、RDL、Wafer和TSV这四种技术,具备任意一种,就可以点亮新的封装技能。
英伟达的V100、A100、A800、H100等都采用台积电CoWoS先进封装技术,解决了高算力AI背景下芯片的“存算一体”问题。不过,台积电7nm晶圆代工产能的确不缺了,但这回缺货竟还是栽在了台积电身上。
首先,CoWoS先进封装核心技术只有台积电一家能做,没有台积电不行。
现在缺的先进封装wafer,其中的技术是台积电专利,英伟达只能找台积电做,先进制程和先进封装都被台积电牢牢把握住了。2012年,台积电推出了独门的CoWoS先进封装技术,从此有了从晶圆代工到终端封装的一条龙服务。CoWoS家族包含CoWoS-S与CoWoS-L/R等部分,对应高速运算应用的客户包含英伟达等多家一线大厂。另有InFO先进封装系列则由多数由苹果全部包下。
你说外包?技术含量低的流程可以,但核心技术没有台积电还是不行,其他封装厂只能喝汤。
近期为应对临时需求,台积电采用部分os(on substrate)委外转包的方法,但并不是CoWoS制程转外包,台积电仍是专注在最有价值的先进封装部分。
台积电等于从晶圆代工做到封装一条龙了,Google TPU、英伟达GPU及AMD MI300这些全数导入生成式AI的芯片大厂,都为台积电贡献了大量的AIGC订单,带动CoWoS扩产需求。
其次,这类先进封装也吃对应封装产能,目前产能紧缺。
先进封装一面朝上游晶圆制程领域发展,即晶圆级封装,在更小封装面积上容纳更多引脚,另一面向下游模组领域拓展,发展系统级封装。近日@手机晶片达人透露,CoWoS制程分成前段晶圆制程的interposer,与后段封装的 die to die叠die,台积电CoWoS产能缺是缺在做65nm的Interposer。
这里的interposer(中介层)采用Wafer(晶圆)技术,如台积电CoWoS封装技术方案是2.5D封装技术,把芯片封装到硅转接板(中介层),并使用硅转接板上的高密度布线进行互连,然后再安装在封装基板上。
因此GPU在先进封装过程中需要额外的晶圆,即CoWoS产能。外资野村证券预期,台积电CoWoS年化产能将从2022年底7-8万片晶圆,增至2023年底14-15万片晶圆,随产能持续扩充,预估2024年底将挑战20万片产能。
填补晶圆级封装产能的缺口,成了当务之急。而且在Wafer技术不断发展下,Wafer面积呈逐渐增大的趋势,相比于InFO,针对高端市场的CoWoS,连线数量和封装尺寸都比较大。根据@手机晶片达人,65nm interposer 需求比top die (H100) 多1.4倍。
台积电先进CoWoS封装产能已经严重供不应求,去年起台积电CoWoS需求几乎是双倍成长,明年需求持续强劲。先进封装只有台积电的台湾厂能做,台积电正在各厂直接进行调配、扩充,加快先进封装制程进度。
03 “显卡荒”烧至服务器 真火还是虚火?
对于真正有需求的买家来说,用这么高端的显卡本质上是用在AI服务器,要么是缺卡,要么是缺模组,要么是缺整机。但论真实需求,“金砖”其实不如服务器。
做AI 的GPU缺涨,搭载服务器跟着涨价,早在4月就有报道称,浪潮将把AI服务器价格提高约20%,这是在英伟达终止向中国供应其顶级A100和H100芯片后做出的决定。后续有消息人士证实,上涨幅度没有具体说明,另外有消息人士称,服务器供应商只是提高了英伟达AI服务器的价格,其他服务器产品的价格没有变化。
太平洋证券数据显示,2022年中国AI服务器市场排名前8的服务器耗材占比达92%,浪潮以37%位居榜首。浪潮的财务披露显示,英伟达一直是其主要的芯片供应商。2019年,英特尔和英伟达是浪潮的前两大芯片供应商。
GPU单卡相当于服务器的零部件,单卡需求更注重价格,服务器要用到多卡GPU模组,最多的8卡,就算是PCle版本的服务器目前也要80万左右,NV的则是百万级别。
目前A800期货整机价格为120多万,现货较少,据某知名计算服务商的一位销售人士介绍,其A800的整机现货价格为168万,定金50%,“7月底有35台,25台已被预定”。即便是企业用,这个价格也不算便宜。而且据市场消息,A800整机的正常货期已经排到了10月底,甚至很多卖家直接报到24周,货期接近6个月。
在一些做服务器整机业务的朋友眼中,GPU再火爆,也不如服务器更靠近真实需求,更好做生意。徐哥表示,现在专注服务器,对单卡的兴趣不大了,卖服务器都是给客户发配置再报价,卡的话比较麻烦,还要看接口等等是否适配……总之,服务器相对卡来说真实的成交更多,成交率高。而卡只是询价的多,成交量太少,只有大公司要的量多。“要的多的几乎都是整机要的,量少的都是卡。”
在广泛的客户需求中,也并非所有AI服务器一上来就是顶配,一上来就有大量的需求。无论是A800 PCIE 服务器、NVlinvk服务器,还是H800 HGX服务器等等,企业都是根据不同的需求去选择配置。当然服务器的价格也会更透明,多了比价的机会。
GPU、硬盘等都是服务器的配件之一,如今AI带火了相关服务器,A800等高端GPU成本占比高,供应紧缺,在整机中,它的价格敏感度也排在前列。
单单GPU的缺货限制AI服务器的正常供应,在市场上看似火爆,却夹杂着更多的虚假需求。
这波GPU热,让人联想起倒爷们狂炒额温枪生意的2020年,当时朋友圈的裂变效应,导致市场上多了比真实需求放大无数倍的虚假需求。结果供应紧缺,现货价比期货高太多,货期没有保障,卖家违约成本低,有倒爷靠“定金”大赚特赚。
芯片极度短缺的日子已经告一段落,高端GPU产能虽然一时半会供不上来,但对应的企业级需求壁垒较高,要求正规技术支持和售后服务,加上需求量的猛增,都给大家提出了更高的要求,没有长期耕耘和扎实功底,仅靠投机取巧的手段,很难在风口上分得一杯羹。