作者：周源/华尔街见闻
北美当地时间3月20日，美光科技（Micron Technology.Inc.）CEO Sanjay Mehrotra在财报电话会议上表示，美光今年HBM产能已销售一空，2025年绝大多数产能已被预订。
2月26日，美光科技官方宣布开始批量生产HBM3E高带宽内存，其24GB 8H HBM3E产品将供货给英伟达，并将应用于英伟达H200 Tensor Core GPU。这款产品将于第二季度发货。
事实上，美光科技也同时将供货给英伟达下一代AI加速卡B100相应的HBM3E产品。
美光官宣进英伟达供应链
Mehrotra说，AI服务器需求正推动HBM DDR5和数据中心SSD快速成长，这使得高阶DRAM、NAND供给变得吃紧，进而对储存终端市场报价带来正面连锁效应。
就美光而言，其24 GB 8-Hi HBM3E供货英伟达H200 Tensor Core GPU。
这款HBM产品数据传输速率为9.2 GT/s，峰值内存带宽超过1.2 TB/s。与HBM3相比，HBM3E将数据传输速率和峰值内存带宽提高了44%，这对于英伟达H200等需要大量带宽的处理器来说尤其重要。
HBM3E是HBM3的扩展版本，内存容量144GB，提供每秒1.5TB的带宽，相当于1秒能处理230部5GB大小的全高清电影。
作为一种更快、更大的内存，HBM3E可加速生成式AI和大型语言模型，同时能推进HPC工作负载的科学计算。HBM通过硅通孔（TSV）连接多个DRAM芯片，创新性地提高了数据处理速度。
2023年8月9日，黄仁勋发布GH200 Grace Hopper超级芯片，这也是HBM3E的首次亮相。随着2024年3月即将发布的36 GB 12-Hi HBM3E产品，美光的AI内存路线图得到进一步巩固。
美光HBM3E内存基于1β工艺，采用TSV（硅通孔技术：Through Silicon Via）封装、2.5D/3D堆叠，能提供1.2TB/s及更高性能。这对美光来说是一项重大成就，因为它在数据中心级产品中使用了最新的生产节点，这是对制造技术的证明。
据美光官方资料，美光新进英伟达供应链主打的这款HBM3E，与竞对相比，有三个优势：第一，性能卓越。这款产品拥有超过9.2Gb/s针脚速率、超过1.2TB/s内存带宽，能满足AI加速器、超级计算机和IDC（数据中心）的对性能的极致要求。
其二，能效优异。与竞品相比，美光HBM3E功耗降低约30%。提供最大吞吐量时，能有效降低功耗（但没透露数据），有效改善数据中心（IDC）运营支出指标。
第三，具有无缝扩展能力。目前，这款产品能提供24GB容量，故而可以轻易扩展数据中心的AI应用，既能训练大规模神经网络，也能加速为推理任务提供必要带宽。
美光科技执行副总裁兼首席商务官Sumit Sadana表示，“美光科技凭借这一HBM3E里程碑产品，实现了三连胜：上市时间领先，强悍的行业性能及差异化的能效概况。”
AI工作负载严重依赖内存带宽和容量，Sadana认为美光处于有利位置，“能通过我们业界领先的HBM3E和HBM4路线图，以及我们用于AI应用的完整DRAM和NAND解决方案组合，来支持未来AI的显著增长”。
美光在HBM产业领域最大的对手是SK海力士和三星，而就英伟达AI加速卡供应链竞争格局看，美光的对手也是海力士。
虽然三星也向英伟达提供了测试样品，但截至2月29日，三星HBM3E的测试结果仍未披露。产业界消息显示，3月，三星HBM3E的质量测试会有个结果。有必要指出，三星这款产品若能通过英伟达质量测试，将提供给英伟达B100 GPU（BlackWell架构，英伟达计划于今年第二季度末或第三季度初推出该系列产品）。
今年2月20日，有消息称，1月中旬，SK海力士HBM3E开发工作收官，顺利完成了英伟达历时半年的产品性能评估。同时，SK海力士计划于3月开始大规模生产五代HBM3E高带宽内存产品，并在4月向英伟达供应首批产品。
半导体产品开发共分九个阶段（Phases 1-9）。目前，海力士已完成所有阶段的开发，进入最后的增产（Ramp-Up）阶段。
简单再对英伟达H200特性做个回顾：基于Hopper架构，提供与H100相同的计算性能。同时，H200还配备141GB HBM3E内存，带宽高达4.8TB/s，较H100的80GB HBM3（带宽3.35TB/s）显着升级。
韩国俩巨头HBM3E产能售罄
SK海力士副社长金基泰（Kim Ki-tae）2月21日指出，生成式AI服务日益多样并持续发展，做为AI记忆体解决方案的HBM需求也出现爆炸性成长。
公开消息显示，海力士2024年的HBM产能也已全部售罄。
金基泰表示，HBM拥有高效能和高容量特性。无论是从技术角度还是商业角度，HBM都堪称具有里程碑意义。“虽然外部不稳定因素仍在，但2024年记忆体（存储器）市场有望逐渐升温。”金基泰指出，“原因是全球大型科技客户的产品需求恢复。”
2月23日，SK海力士管理层就HBM内存销售额发表声明：尽管规划2024年产能需超前提升，但目前产销量已达饱和状态。
金基泰对此表示，作为HBM行业翘楚，海力士洞察到市场对HBM存储的巨大需求，现已提前调整产量，以期更好地满足市场需求。同时，金基泰还认为，“今年内除HBM3E外，DDR5及LPDDR5T存储亦将受到市场热捧。”
SK海力士预期2025年将持续维持市场领先地位。有机构预测，海力士2024年营收将达75亿美元。2023年，海力士主力产品DDR5 DRAM和HBM3的营收较2022年分别成长超过4倍和5倍（数据来源：海力士2023年财报）。
2023年12月底，在美光财报会议上，美光CEO Sanjay Mehrotra对外透露：得益于生成式AI的火爆，推动云端高性能AI芯片对HBM的旺盛需求，美光2024年HBM产能预计已全部售罄。2024年初量产的HBM3E有望于2024会计年度创造数亿美元的营收。
目前，HBM已发展到第五代（HBM3E是HBM3的扩展版）。此前各代际产品为第一代（HBM）、第二代（HBM2）、第三代（HBM2E）和第四代（HBM3）。
第六代HBM产品为HBM4，将使用2048位接口，可将每个堆栈的理论峰值内存带宽提高到1.5TB/s以上。为实现这一目标，HBM4需具有约6GT/s的数据传输速率，这将有助于控制下一代DRAM的功耗。
美光HBM产品有望在2024会计年度创造数亿美元业额，HBM营收预料自2024会计年度第3季度起，为美光DRAM业务以及整毛利率带来正面贡献。
值得一提的是，美光预期2024年DRAM、NAND产业供给都将低于需求。美光2024会计年度的DRAM、NAND位元供给成长预估仍低于需求成长，2024年度存天数将会减少。
