AI见闻日报:英伟达GH200不仅影响光模块用量,还应关注PCB和存储 | 见智研究

1.英伟达超级计算平台除了让光模块“发光”,更不能忽略存储和PCB; 2.出现了比Meta更好的开源大模型? 3.政策鼓励AI产业发展,算力将得到更合理分配,还要关注数据中心上架率。

今日要点:

1、英伟达超级计算平台除了让光模块“发光”,更不能忽略存储和PCB;

2、出现了比Meta更好的开源大模型?

3、政策鼓励AI产业发展,算力将得到更合理分配,还应关注数据中心上架率;

见闻视角

海外AI

1、英伟达GH200对光模块用量增加已成为普遍共识,更不能忽略存储和PCB

昨天我们提到英伟达发布超强AI计算平台DGX GH200,很多人关注该款超级计算机对光模块需求影响的程度。

根据多家券商的测算情况,市场普遍认为光模块的用量还是呈现较大幅度的提高。新架构全光方案GPU:800G光模块数量比1:18,半光方案GPU:800G光模块数量比1:9。

具体来看,每个Node单向带宽450GB/s(900GB/s双向带宽),8颗Superchip累计3.6TB/s单向带宽,800G光模块实际传输能力为100GB/s,即一个Node单向传输需要36个800G光模块,全系统共2个上行方向+2个下行方向,累计需要144个800G光模块(对应8颗Superchip),即800G全光方案比例关系为1:18。类似的,400G全光方案比例关系为1:36,800G半光方案比例关系为1:9。

除模块之外,见智研究认为:还应关注内存和PCB的增量价值。

GH200单颗芯片需要480GB LPDDR5内存+96GB的HBM显存。而上一代DGX H100服务器中,平均单颗H100芯片对应256GB内存,以及80GB的HBM。二者对比,GH200方案的存储器价值量有显著提升。

PCB:传统服务器中,主板单价近5000元/平米;加速卡板单价更高,随着层数、材质、加工难度的提升,可达1w+/平米。

GH200超级芯片是CPU+GPU二合一,集成度提升可以省去部分主板PCB,但相较传统加速卡面积更大,同时要在加速卡板材质、层数、HDI等方面进一步升级。

2、出现了比Meta更好的开源大模型?

一款名为FalconLM 开源语言模型说是提供了比 Meta 的 LLaMA 更好的性能,是迄今为止最强大的开源语言模型。

该款模型是由阿拉伯联合酋长国阿布扎比的技术创新研究所 (TII) 开发,FalconLM 最大的变体拥有400亿个参数,可以用于商业。但如果收入超过100万美元,则商业用途需要缴纳特许权使用费。在总结各种基准测试结果的Hugging Face OpenLLM 排行榜上,两个最大的 FalconLM 模型(其中一个已经用指令进行了改进)目前以显着优势占据前两名。

见智研究认为:开源语言模型如雨后春笋般的冒出,部分基础大模型的性能也表现出较强的优势。FalconLM相较于其他开源模型的竞争优势的包括在训练数据的选择,从公共爬网数据集中提取高质量数据并删除重复数据的流程。在彻底清除重复数据后,仍保留了5万亿条文本(token)——足以训练强大的语言模型。此外, FalconLM优化后的架构能够很大程度提高计算能力,推理成本仅为GPT3的五分之一。

国内AI

政策鼓励加强算力的部署和分配,还应该关注数据中心上架率

北京市政府办公厅正式发布《北京市促进通用人工智能创新发展的若干措施》,主要包括五大方面:1、提升算力资源统筹供给能力;2、提升高质量数据要素供给能力;3、系统构建大模型等通用人工智能技术体系;4、推动通用人工智能技术创新场景应用;5、探索营造包容审慎的监管环境。

见智研究认为:在政策的推动下,算力、数据要素市场将会进一步得到全面的效率优化和监管,会给民营企业在租用算力上来带便捷度,从而促进行业的良性发展。

从基础设施方面来看,AI新基建主要会围绕数据中心、超算中心的建设以及配套设备需求提高,具体包括AI服务器、高速交换机、光模块、制冷设备、电源设备等。应用场景方面鼓励创新同样会正向刺激算力的需求。但仍需关注数据中心目前机架上机率的情况,是否已经达到较高水平。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。