推理占比确认70%、B100性能提升可能4倍

信息平权
英伟达表示,B100相比H100性能提升超过2-3倍,推理需求从上个财年的40%增长至70%,有观点认为收入潜力将超过100亿美元。

某行的semi小会合集(信息量很大)

AMD、AMAT、KLAC、INTC、LRCX、MU、NVDA、STX、SWKS和WDC等以及一级市场的Cerebras、Groq、Tenstorrent、Sambanova等公司,甚至包括了美国商务部工业和安全副部长Alan Estevez主持的小组讨论。总结如下:

英伟达表示B100相比H100性能提升超过2-3倍(注:英伟达CFO原话是“2-3倍听起来低了”。因为H200相比H100就是80%提升,B100相比H200 2倍提升,也有3.6了,估计真的要4倍以上了)。 推理需求的增长开始迅速加速,上个财年40%,现在已经到了70%(注:但要注意这里面包含了大量传统推理需求,真正的GenAI占推理需求小于50%,但反过来,随着GenAI部署的泛华,意味着推理的需求增速还会加速

关于每个GPU 4500美元软件收入,这与企业安装基础有关,20%的收入来自企业,以及一部分销售到云中。对于已经发货的H100有400万GPU的累计基数,这些GPU都存在升级的可能。如果我们假设一半已经销售到云中,最终将以某种方式被企业在云实例中使用,因此需要打补丁/优化,这表明收入潜力>100亿美元。对于在CPU上运行的推理,可以继续在CPU上运行,并不一定需要GPU。对于其他类型的更高级的推理工作负载,如genAI,不可能在CPU上运行。数据中心容量瓶颈,对于CSP,他们已经在展望2-3年后,所以这是他们规划过程的一部分,因此NVDA没有那么担心数据中心容量瓶颈。HBM供应商会增加到三个。需求仍然远远超过供应,尤其是全球范围内,特别是在中东地区(阿联酋、沙特阿拉伯)开始出现国家级别的需求。

AMD表示到2027年其4000亿美元AI加速器TAM中约65-70%将用于推理。但强调从未说过今年可以实现80亿美元的MI300收入(反悔了...岂不是证明真的说过?),认为按产能储备(HBM和cowos)算的话,的确超过35亿美元的指引,并在未来几代产品表现出非常自信的语气。我们预计AMD今年结束将在数据中心GPU的市场份额达到约10%。我们还感觉到服务器CPU的语气稍微好一些,在传统服务器市场看到了一些反弹(也得到了MU评论的支持)。长期毛利率目标57%,但在设定该目标时并未考虑AI业务(MI300X前期对毛利率还是有拖累)。且公司也提到了未来可能会和HBM厂商进行定制化合作(之前文章我们提过HBM4会更加定制化

存储板块持乐观态度 在DRAM方面,HBM供应一直紧张到2025年,MU采用了与TSMC对其客户所做的类似的预付款和晶圆供应协议,以及年度而非季度/半年的定价谈判方式。为了最大化HBM量,在一定程度上牺牲了DDR5的量,并造成了紧缺——所有这些都有助于ASP。WDC对NAND的定价和上涨的持续性持非常乐观的态度,因为新的资本支出仍然没有用于NAND,而是被转移到了HBM。这也传递到了SPE,AMAT和LRCX都对DRAM持乐观态度。

MU透露更多HBM信息,8层已经量产,12层3月送样,12层毛利率比8层更高。且镁光的2024年的HBM已经售罄,再次强调在2025年下半年某个时候达到与镁光全球DRAM份额相同的HBM份额。且由于MU在HBM2E和HBM3上起步较晚,所以跳到了HBM3E,并决定在1beta上做(功耗有优势),同时优化了TSV的数量和间距。HBM的裸片尺寸是DDR5的两倍,且由于堆叠产能额外晶圆损耗,因此非常吃DDR产能(与之前季报说的一致)。合适时间一定会转向Hybrid Bonding。对于中国XXXX做HBM,原话是“packaging is not controlled”。

本文作者:Jason,来源:信息平权(ID:xinxipingquan202309),原文标题:《推理占比确认70%、B100性能提升可能4倍》,华尔街见闻有所删减。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
相关文章