赛道Hyper | 英伟达:除海力士,也要美光HBM3E

2024,HBM3E的天下。

作者:周源/华尔街见闻

英伟达下一代AI加速卡B100(Blackwell架构)的存储器规格,将采用HBM3E。这种规格的存储器,目前只有SK海力士、三星电子和美光能提供。

华尔街见闻从供应链多个渠道独家获悉,几乎与SK海力士同时,美光也成为B100存储器供应商。目前三星电子还没进B100的存储器供应链。

根据此前供应链消息,B100提前半年,将在今年二季度上市。

什么是HBME?英伟达B100牛在何处?

B100拉动HBM3E产能喷发

AI服务器热潮带动了AI加速卡的需求。高频宽存储器HBM也成为AI加速卡(GPU)的关键DRAM模块。

据Gartner的预测报告,2023年全球HBM营收规模约为20.05亿美元;预计到2025年,HBM的市场规模将翻倍成长至49.76亿美元,增长率高达148.2%。

目前,SK海力士、三星、美光是全球仅有的三家HBM供应商。行业数据显示,2022年HBM市场,SK海力士占据50%的市场份额,三星占比40%,美光占比10%。

英伟达H200是首次采用HBM3E存储器规格的AI加速卡。HBM3E使GPU存储器带宽从H100的每秒3.35TB扩展至4.8TB,提高1.4倍,存储器总容量也从H100的80GB提高至141GB,容量提高1.8倍。

此前有供应链消息称,英伟达原本预计在2024年第四季度推出的下一代AI加速卡B100,目前将提前至2024年二季度推出。

据目前有限的信息显示,B100采用台积电3nm工艺制程混合更复杂的多芯片模块(MCM)设计。英伟达在AI GPU市场占比了80%以上的市场份额,若B100能提前推出,则英伟达将进一步巩固在AI领域的领先优势。

2023年下半年开始,SK海力士、三星和美光这三家HBM供应商基本同步开启了HBM3E的测试,预计从2024年第一季度能实现批量供应。

华尔街见闻从供应链多个渠道独家获悉,美光和SK海力士一样,都已成为英伟达B100的存储器供应商,提供的产品均为HBM3E。

美光CEO Mehrotra曾透露,美光专为AI和超级计算机设计的HBM3E预计2024年初量产,有望于2024会计年度创造数亿美元的营收。Mehrotra还对分析师表示,“2024年1-12月,美光HBM预估全数售罄”。

美光科技位于中国台湾地区的台中四厂于2023年11月初正式启用。美光表示,台中四厂将整合先进探测与封装测试功能,量产HBM3E及其他产品,从而满足人工智能、数据中心、边缘计算及云端等各类应用日益增长的需求。

HBM全称High Bandwidth Memory,直译高带宽内存,这是一种新型CPU/GPU内存芯片。从物理结构看,就是将很多个DDR芯片堆叠起来,再和GPU封装在一起,实现大容量、高位宽的DDR组合阵列。

一般来说,一张AI加速卡,物理结构是中间是die的GPU,左右两侧的die是DDR颗粒的堆叠HBM。

die,是指裸片,即将硅晶圆用激光切割而成的小片。die是芯片还未封装前的晶粒,是硅晶圆上一个很小的单位。

Chip,即芯片,晶圆经过切割、测试,由完好的、稳定的、足容量的die封装而成,这是半导体元件产品的统称。

晶圆就是wafer,这是制作硅半导体所用的硅晶片,原材料是硅,圆形。一般来说,晶圆的尺寸是6英寸、8英寸或12英寸不等。可在晶圆上加工制作成各种电路元件结构,成为有特定功能的集成电路产品。

与Hopper/Ada架构不同,Blackwell架构将扩展至数据中心(IDC)和消费级GPU。B100最大的技术变化在于底层架构很可能有重大调整:英伟达将采用新的封装技术,将GPU组件分成独立的芯片。

虽然具体芯片数量和配置尚未确定,但MCM的设计方式,将使得英伟达在定制芯片时具备更大的灵活性。

现在,还没有足够的信息显示英伟达B100采用的哪种3nm工艺。台积电相关工艺包括性能增强型N3P和面向HPC(高性能计算:High performance computing)的N3X;此外还包括N3E和N3B,前者由联发科采用,后者则被苹果用于A17 Pro的定制。

HBM3E应用和美光的布局

美光目前正在生产 HBM3E gen-2内存,采用8层垂直堆叠的24GB芯片。美光的12层垂直堆叠36GB芯片将于2024年第一季度开始出样。这将与半导体代工运营商台积电合作,将其Gen-2 HBM3E用于人工智能和HPC设计应用。

HBM3E是HBM3的扩展版本,内存容量144GB,提供每秒1.5TB的带宽,相当于1秒能处理230部5GB大小的全高清电影。

作为一种更快、更大的内存,HBM3E可加速生成式AI和大型语言模型,同时能推进HPC工作负载的科学计算。

2023年8月9日,黄仁勋发布GH200 Grace Hopper超级芯片,这也是HBM3E的首次亮相。因此,GH200 Grace Hopper成为全球首款HBM3E GPU。

GH200由72核Grace CPU和4PFLOPS Hopper GPU组成;每个GPU的容量达到H100 GPU的1.7倍,带宽达到H100的1.55倍。

与H100相比,GH20系统共有144个Grace CPU核心、8PFLOPS计算性能的GPU、282GB HBM3E内存,内存容量达3.5倍,带宽达3倍。若将连接到CPU的LPDDR内存包括在内,那么总共集成了1.2TB超快内存。

英伟达指出,内存带宽对于HPC应用程序至关重要,因为能实现更快的数据传输,减少复杂的处理瓶颈。对于模拟、科学研究和人工智能等内存密集型HPC应用,H200更高的内存带宽可确保高效地访问和操作数据。与CPU相比,获得结果的时间最多可加快110倍。

TrendForce集邦咨询研究指出,2023年HBM市场主流为HBM2e。英伟达A100/A800、AMD MI200以及多数CSPs自研加速芯片皆以此规格设计。

同时,为顺应AI加速器芯片需求演进,各原厂计划于2024年推出新产品HBM3E,预期HBM3与HBM3E将成为2024年市场主流。2023年主流需求自HBM2e转往HBM3,需求比重分别预估约50%和39%。

随着使用HBM3的加速芯片陆续放量,2024年市场需求将大幅转往HBM3;2024年将直接超越HBM2e,比重预估达60%;同时,受惠于更高的平均销售单价(ASP),将带动2024年HBM营收显著成长。

TrendForce集邦咨询此前预估,由于HBM3平均销售单价远高于HBM2e与HBM2,故将助力原厂HBM领域营收,可望进一步带动2024年整体HBM营收至89亿美元,年增127%。

据Semiconductor-Digest预测,到2031年,全球高带宽存储器市场预计将从2022年的2.93亿美元增长到34.34亿美元,在2023-2031年的预测期内复合年增长率为31.3%。

由于HBM是与GPU封装在一起的,因此HBM的封装通常由晶圆代工厂完成。HBM大概率会成为下一代DRAM高性能解决方案,为快速发展的数据中心及云计算人工智能提供更高的AI/ML性能与效率。

尽管美光在HBM市场的占比仅约10%,但美光正在加速推进更新的HBM4和HBM4e研发,这比SK海力士跑的更快。

为提高内存传输速率,下一代HBM4可能要对高带宽内存技术做出更实质性的改变,即从更宽的2048位内存接口开始,故而HBM4会在多个层面上实现重大技术飞跃。

美光公司在2023年曾表示,“HBM Next”(即HBM4)内存将于2026年左右面世,每堆栈容量介于36 GB-64 GB,每堆栈峰值带宽为2TB/s或更高。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
相关文章