一张图读懂 2023/03/22 14:19

英伟达ChatGPT专用GPU强在哪?速度快10倍,成本降一个数量级!

北京时间3月21日晚,图形芯片巨头英伟达(Nvidia)召开2023年GTC大会,其创始人兼CEO黄仁勋也着重介绍了英伟达在大型语言模型(LLM)这一领域的布局,针对算力需求巨大的LLM,英伟达将推出新款GPU——NVIDIA H100 NVL。

据悉,H100基于英伟达的Hopper架构,采用Transformer引擎。其具有94GB内存,并配备了双GPU NVLINK的PCIE H100 GPU,能处理含1750亿参数的GPT-3。

与用于处理ChatGPT的HGX A100相比,搭载四对H100和双NVLINK的标准服务器的处理速度最高可达10倍。黄仁勋称,它能将LLM的处理成本降低一个数量级。

此外,针对AI视频英伟达还推出了芯片L4,在视频解码和转码、视频内容审核、视频通话等功能上进行优化。L4能够提供高出120倍的AI视频性能,同时能效提高99%。