作者：周源/华尔街见闻
英伟达下一代AI加速卡B100（Blackwell架构）的存储器规格，将采用HBM3E。这种规格的存储器，目前只有SK海力士、三星电子和美光能提供。
华尔街见闻从供应链多个渠道独家获悉，几乎与SK海力士同时，美光也成为B100存储器供应商。目前三星电子还没进B100的存储器供应链。
根据此前供应链消息，B100提前半年，将在今年二季度上市。
什么是HBME？英伟达B100牛在何处？
B100拉动HBM3E产能喷发
AI服务器热潮带动了AI加速卡的需求。高频宽存储器HBM也成为AI加速卡（GPU）的关键DRAM模块。
据Gartner的预测报告，2023年全球HBM营收规模约为20.05亿美元；预计到2025年，HBM的市场规模将翻倍成长至49.76亿美元，增长率高达148.2%。
目前，SK海力士、三星、美光是全球仅有的三家HBM供应商。行业数据显示，2022年HBM市场，SK海力士占据50%的市场份额，三星占比40%，美光占比10%。
英伟达H200是首次采用HBM3E存储器规格的AI加速卡。HBM3E使GPU存储器带宽从H100的每秒3.35TB扩展至4.8TB，提高1.4倍，存储器总容量也从H100的80GB提高至141GB，容量提高1.8倍。
此前有供应链消息称，英伟达原本预计在2024年第四季度推出的下一代AI加速卡B100，目前将提前至2024年二季度推出。
据目前有限的信息显示，B100采用台积电3nm工艺制程混合更复杂的多芯片模块（MCM）设计。英伟达在AI GPU市场占比了80%以上的市场份额，若B100能提前推出，则英伟达将进一步巩固在AI领域的领先优势。
2023年下半年开始，SK海力士、三星和美光这三家HBM供应商基本同步开启了HBM3E的测试，预计从2024年第一季度能实现批量供应。
华尔街见闻从供应链多个渠道独家获悉，美光和SK海力士一样，都已成为英伟达B100的存储器供应商，提供的产品均为HBM3E。
美光CEO Mehrotra曾透露，美光专为AI和超级计算机设计的HBM3E预计2024年初量产，有望于2024会计年度创造数亿美元的营收。Mehrotra还对分析师表示，“2024年1-12月，美光HBM预估全数售罄”。
美光科技位于中国台湾地区的台中四厂于2023年11月初正式启用。美光表示，台中四厂将整合先进探测与封装测试功能，量产HBM3E及其他产品，从而满足人工智能、数据中心、边缘计算及云端等各类应用日益增长的需求。
HBM全称High Bandwidth Memory，直译高带宽内存，这是一种新型CPU/GPU内存芯片。从物理结构看，就是将很多个DDR芯片堆叠起来，再和GPU封装在一起，实现大容量、高位宽的DDR组合阵列。
一般来说，一张AI加速卡，物理结构是中间是die的GPU，左右两侧的die是DDR颗粒的堆叠HBM。
die，是指裸片，即将硅晶圆用激光切割而成的小片。die是芯片还未封装前的晶粒，是硅晶圆上一个很小的单位。
Chip，即芯片，晶圆经过切割、测试，由完好的、稳定的、足容量的die封装而成，这是半导体元件产品的统称。
晶圆就是wafer，这是制作硅半导体所用的硅晶片，原材料是硅，圆形。一般来说，晶圆的尺寸是6英寸、8英寸或12英寸不等。可在晶圆上加工制作成各种电路元件结构，成为有特定功能的集成电路产品。
与Hopper/Ada架构不同，Blackwell架构将扩展至数据中心（IDC）和消费级GPU。B100最大的技术变化在于底层架构很可能有重大调整：英伟达将采用新的封装技术，将GPU组件分成独立的芯片。
虽然具体芯片数量和配置尚未确定，但MCM的设计方式，将使得英伟达在定制芯片时具备更大的灵活性。
现在，还没有足够的信息显示英伟达B100采用的哪种3nm工艺。台积电相关工艺包括性能增强型N3P和面向HPC（高性能计算：High performance computing）的N3X；此外还包括N3E和N3B，前者由联发科采用，后者则被苹果用于A17 Pro的定制。
HBM3E应用和美光的布局
美光目前正在生产 HBM3E gen-2内存，采用8层垂直堆叠的24GB芯片。美光的12层垂直堆叠36GB芯片将于2024年第一季度开始出样。这将与半导体代工运营商台积电合作，将其Gen-2 HBM3E用于人工智能和HPC设计应用。
HBM3E是HBM3的扩展版本，内存容量144GB，提供每秒1.5TB的带宽，相当于1秒能处理230部5GB大小的全高清电影。
作为一种更快、更大的内存，HBM3E可加速生成式AI和大型语言模型，同时能推进HPC工作负载的科学计算。
2023年8月9日，黄仁勋发布GH200 Grace Hopper超级芯片，这也是HBM3E的首次亮相。因此，GH200 Grace Hopper成为全球首款HBM3E GPU。
GH200由72核Grace CPU和4PFLOPS Hopper GPU组成；每个GPU的容量达到H100 GPU的1.7倍，带宽达到H100的1.55倍。
与H100相比，GH20系统共有144个Grace CPU核心、8PFLOPS计算性能的GPU、282GB HBM3E内存，内存容量达3.5倍，带宽达3倍。若将连接到CPU的LPDDR内存包括在内，那么总共集成了1.2TB超快内存。
英伟达指出，内存带宽对于HPC应用程序至关重要，因为能实现更快的数据传输，减少复杂的处理瓶颈。对于模拟、科学研究和人工智能等内存密集型HPC应用，H200更高的内存带宽可确保高效地访问和操作数据。与CPU相比，获得结果的时间最多可加快110倍。
TrendForce集邦咨询研究指出，2023年HBM市场主流为HBM2e。英伟达A100/A800、AMD MI200以及多数CSPs自研加速芯片皆以此规格设计。
同时，为顺应AI加速器芯片需求演进，各原厂计划于2024年推出新产品HBM3E，预期HBM3与HBM3E将成为2024年市场主流。2023年主流需求自HBM2e转往HBM3，需求比重分别预估约50%和39%。
随着使用HBM3的加速芯片陆续放量，2024年市场需求将大幅转往HBM3；2024年将直接超越HBM2e，比重预估达60%；同时，受惠于更高的平均销售单价（ASP），将带动2024年HBM营收显著成长。
TrendForce集邦咨询此前预估，由于HBM3平均销售单价远高于HBM2e与HBM2，故将助力原厂HBM领域营收，可望进一步带动2024年整体HBM营收至89亿美元，年增127%。
据Semiconductor-Digest预测，到2031年，全球高带宽存储器市场预计将从2022年的2.93亿美元增长到34.34亿美元，在2023-2031年的预测期内复合年增长率为31.3%。
由于HBM是与GPU封装在一起的，因此HBM的封装通常由晶圆代工厂完成。HBM大概率会成为下一代DRAM高性能解决方案，为快速发展的数据中心及云计算人工智能提供更高的AI/ML性能与效率。
尽管美光在HBM市场的占比仅约10%，但美光正在加速推进更新的HBM4和HBM4e研发，这比SK海力士跑的更快。
为提高内存传输速率，下一代HBM4可能要对高带宽内存技术做出更实质性的改变，即从更宽的2048位内存接口开始，故而HBM4会在多个层面上实现重大技术飞跃。
美光公司在2023年曾表示，“HBM Next”（即HBM4）内存将于2026年左右面世，每堆栈容量介于36 GB-64 GB，每堆栈峰值带宽为2TB/s或更高。