一张图读懂 2023/03/22 14:19

英伟达ChatGPT专用GPU强在哪?速度快10倍,成本降一个数量级!

北京时间3月21日晚,图形芯片巨头英伟达(Nvidia)召开2023年GTC大会,其创始人兼CEO黄仁勋也着重介绍了英伟达在大型语言模型(LLM)这一领域的布局,针对算力需求巨大的LLM,英伟达将推出新款GPU——NVIDIA H100 NVL。

据悉,H100基于英伟达的Hopper架构,采用Transformer引擎。其具有94GB内存,并配备了双GPU NVLINK的PCIE H100 GPU,能处理含1750亿参数的GPT-3。

与用于处理ChatGPT的HGX A100相比,搭载四对H100和双NVLINK的标准服务器的处理速度最高可达10倍。黄仁勋称,它能将LLM的处理成本降低一个数量级。

此外,针对AI视频英伟达还推出了芯片L4,在视频解码和转码、视频内容审核、视频通话等功能上进行优化。L4能够提供高出120倍的AI视频性能,同时能效提高99%。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。