作者:朱雪莹
来源:硬AI
黄仁勋在当地时间周三召开的英伟达财报电话会上表示,Blackwell芯片产品将在今年二季度发货、三季度增产、四季度投放到数据中心,今年就会看到“Blackwell芯片营收显著增长”,并且在Blackwell芯片之后会有另一款芯片推出,实现“一年一代”。
关于网络收入,英伟达首次将网络收入单拆出来。黄仁勋表示公司将致力于三条网络链路,从用于单计算域的NVLink到 InfiniBand,再到以太网网络计算结构。
关于以太网络的营收贡献,同样参加电话会议的首席财务官科莱特·克雷斯表示,全球首个专为AI设计的高性能以太网架构Spectrum-X,正在为英伟达打开一个全新的市场,目前正在与多家客户进行量产,其中包括一个10万GPU的大型集群。公司预计 Spectrum X 将在一年内跃升至数十亿美元的产品线。
关于推理收入,科莱特·克雷斯表示,公司预计推理能力将随着模型复杂度、用户数量和每用户查询次数的增加而扩大 。在过去的四个季度中,估计推理驱动了我们数据中心约 40% 的收入。
关于AI PC,黄仁勋表示即使是PC计算堆栈也将发生革命性的变化,目前“正在完全重新设计计算机的工作方式”。
以下是英伟达第一季度财报电话会分析师问答环节全文内容:
伯恩斯坦研究公司Stacy Rascan:
我的第一个问题是,我想深入了解一下blackwell的评论,这对生产来说很重要。
现在。这是否暗示了发货和交付时间?如果该产品不再只是样品,那么当它实际上到达客户手中时,这意味着什么?
黄仁勋:
如果它现在正在生产,我们将会发货,我们已经生产了一段时间。
但我们的生产发货将在第二季度开始,并在第三季度增加,客户应该在第四季度建立数据中心。
Stacy Rascan:
明白了。所以今年,听起来我们将看到Blackwell的收入。
黄仁勋:
我们今年将会看到很多Blackwell的收入。
美国哥伦比亚广播公司(CBS)Timothy R. Curry:
我想问Jensen关于Blackwell的部署。 您知道的,与Hopper相比,考虑到系统的特性,以及您对,您知道的,GB的需求,部署这个产品与Hopper有什么不同?
我这样问是因为在大规模上进行液态冷却以前没有做过,而且在节点级别和数据中心内部都存在一些工程挑战。那么这些复杂性是否会延长过渡期?您如何看待这一切的进展?谢谢。
黄仁勋:
是的,Blackwell有很多配置。Blackwell是一个平台,而不是一个GPU。该平台包括支持空气冷却、液态冷却x 86和Grace无限带。现在Spectrum X,非常大的MV Link域,我在GTC上展示了GTC。
因此,对于一些客户来说,他们将进入他们现有的数据中心安装基础,这些数据中心已经在运输hoppers。他们将很容易地从H100过渡到H200到BE 100。
因此,Blackwell系统已经被设计为向后兼容,如果您愿意的话,从电气和机械角度。当然,运行在Hopper上的软件将在Blackwell上运行得非常好。
我们还一直在为整个生态系统做好准备,让他们为液态冷却做好准备。我们已经与生态系统中的Blackwell谈论了很长时间。而且CSPs、数据中心、ODMs、系统制造商、我们的供应链、他们的供应链、液态冷却供应链、数据中心供应链,没有人会对Blackwell的到来以及我们希望以Grace Blackwell 200 GB交付的能力感到惊讶。GB 200将非常出色。
美国银行证券分析师Beck Aria:
谢谢您接受我的问题,Jensen。您如何确保您的产品有足够的利用率,并且不会因为供应紧张、竞争或其他因素而出现提前拉动或持有行为?
您在系统中建立了哪些检查,以使我们相信货币化与您非常、非常强劲的发货道路保持同步?
黄仁勋:
我想先给出一个宏观的视角,然后直接回答您的问题。
GPU在所有数据中心的需求是惊人的。我们每天都在竞跑,原因就是这样,因为像ChatGPT和GPT 4 o这样的应用程序,现在它将是多模态的,还有Gemini和它的坡道,以及所有CSPs正在进行的所有工作,都在消耗着每一个GPU。还有一长串生成性AI初创公司,大约有15,000到20,000家初创公司,它们在各种领域,从多媒体到数字角色,当然,还有各种设计工具应用、生产力应用、数字生物学。
自动驾驶汽车行业正在转向使用视频数据,使他们能够训练端到端模型,扩大自动驾驶汽车的操作领域。这个列表非常特别。
我们正在竞跑,实际上,客户对我们施加了很大的压力,要求我们尽快交付系统并建立起来。
当然,我甚至还没有提到所有希望训练他们国家地区自然资源数据的国家,也就是他们的数据,以训练他们地区模型。有很多压力要求尽快建立这些系统。无论如何,我认为需求真的很高,而且长期来看供应不足。这就是我为什么要发表一些长期评论的原因,对吧?
您知道,我们正在完全重新设计计算机的工作方式。当然,这已经被比作过去其他平台的转变,但时间会清楚地表明,这比以往的平台转变要深刻得多。原因就在于,计算机不再只是一台指令驱动的计算机。它是一个意图理解的计算机。它当然理解我们与它的交互方式,但它也理解我们的意思,我们要求它做什么,并且有能力进行推理、计划和迭代处理,并提出解决方案。
因此,计算机的每一个方面都在以这样的方式改变,即它不再检索预录的文件,而是现在生成与上下文相关的、智能的答案。因此,这将改变世界各地的计算堆栈。您看到了一个构建,事实上,即使是PC计算堆栈也将得到革命化。
而这仅仅是我们看到的,您知道,今天我们所看到的只是我们在实验室中正在做的工作的开始,以及我们正在与世界各地的所有初创公司、大公司和开发人员一起做的事情,这将是非同寻常的。
摩根士丹利Joe Moore:
我理解您刚刚关于需求有多强劲的评论,市场对H200和Blackwell产品有很大的需求。您是否预计在从这些产品过渡时,Hopper和H100会有所暂停?人们会等待这些新产品吗,这将是一个好产品?还是您认为对H100的需求足以维持增长?
黄仁勋:
我们看到这个季度Hopper的需求在增加,我们预计随着我们过渡到H 200,需求将超过供应一段时间,因为我们过渡到Blackwell。我,每个人都急于让他们的基础设施上线。原因就是这样,因为他们正在省钱和赚钱,他们希望尽快这样做。
高盛Toshiahari:
我想问关于竞争的问题。我想您的许多云客户都宣布了,您知道的,新的或对现有内部计划的更新,与他们与您合作的工作同时进行,您在多大程度上将他们视为中长期竞争对手?在近期内,您认为他们是否主要限于解决内部工作负载?还是他们可以更广泛地解决未来的问题?谢谢。
黄仁勋:
是的,我们有几个不同之处。
首先,Nvidia的加速计算架构允许客户处理他们整个流程的每一个方面,从处理非结构化数据准备训练,到结构化数据处理、数据框架处理(如SQL)准备训练,再到训练和推理。正如我在讲话中提到的,推理已经发生了根本性的变化。现在是生成,不再只是试图检测猫(尽管这本身已经非常困难)。现在需要生成猫的每一个像素。所以生成过程是一个根本不同的处理架构,这也是Tensor RTLM备受欢迎的原因之一。”
我们在使用相同芯片的架构上提升了三倍的性能,这说明了我们的架构和软件的丰富性。因此,首先,你可以使用Nvidia来处理从计算机视觉到图像处理、计算机图形学等所有计算模式。随着世界现在遭受计算成本和计算能耗上涨的困扰,因为通用计算已经达到极限,加速计算才是可持续发展的方式。加速计算是你节省计算成本和能耗的途径。因此,我们平台的多功能性为他们的数据中心带来了最低的总体拥有成本(TCO)。
第二,我们从不在云端。所以对于正在寻找平台进行开发的开发人员来说,从Nvidia开始总是一个不错的选择。我们,我们在本地。我们在云端。你在任何大小和形状的计算机上。我们几乎无处不在。这就是第二个原因。
第三个原因与事实有关,你知道,我们构建AI工厂,这变得越来越明显,AI不仅仅是芯片问题。当然,它从非常好的芯片开始,我们为我们的AI工厂构建了很多芯片,但它是一个系统问题。
事实上,甚至AI现在是一个系统问题。它不仅仅是一个大型语言模型。它是一大堆大型语言模型的复杂系统,它们一起工作。所以Nvidia构建系统的事实使我们能够优化我们所有的芯片,使它们作为一个系统一起工作,能够拥有作为一个系统运行的软件,并能够在整个系统中进行优化。
现在,让我们从一个简单的数字角度来看,你知道,如果你有一个5亿美元的基础设施,你提高了两倍的性能,这是我们通常做的。当你提高基础设施的性能两倍时,它的价值就增加了10亿美元。所有数据中心的芯片并不能支付它。因此,它的价值确实非常特别。这就是为什么今天性能至关重要的原因。
你知道,这是在最高性能也是最低成本的时候,因为携带所有这些芯片的基础设施成本很高,资助数据中心、运营数据中心、随之而来的复杂性,随之而来的电力,随之而来的房地产,你知道,所有这些都结束了。所以最高性能也是最低TCO。
市场研究公司TD Cowen分析师Matt Ramsey:
我在数据中心行业工作了一辈子。我从未见过你们推出的新平台的速度,以及你们获得的性能提升。训练速度提高了5倍,推理速度在GTC上提高了30倍,这真是一件令人惊叹的事情。
但这也创造了一个有趣的对比,那就是您当前一代产品,您的客户正在花费数十亿美元,它将比产品的折旧周期更快地不再与您的新产品竞争。所以我想请您,如果您不介意的话,谈一谈您如何看待这种情况随着Blackwell的推出而发展。
他们将拥有一个非常大的安装基础,显然是软件兼容的,但是有一个非常大的安装基础的产品,其性能远不如您的新一代产品。我很想听听您对客户在这条道路上的看法。 是
黄仁勋:
我想提出三点。如果您的建设进度是5%,而您的建设进度是95%,您的感觉会非常不同。而且,因为您无论如何都只进行了5%的建设,您知道,您必须尽可能快地建造,当Blackwell到来时,它将是极好的。
然后,在Blackwell之后,正如您提到的,我们还有其他的Blackwells即将到来。然后,有一个短暂的,您知道的,我们以一年的节奏向世界解释。我们希望我们的客户能看到我们的路线图,尽可能地了解他们。
但他们无论如何都处于建设的早期阶段,所以他们必须继续建设,所以将会有很多芯片向他们袭来,他们只需要继续建设,如果愿意的话,通过性能平均化进入其中,所以这是聪明的做法。
他们今天需要赚钱。他们想今天省钱,而且时间对他们来说真的很有价值。
让我给您举一个时间非常有价值的例子,为什么立即建立数据中心的想法如此有价值,以及获得训练时间如此有价值。原因就是这样,因为下一个达到下一个主要里程碑的公司将宣布一项突破性的AI。而之后的第二个公司只能宣布比原来好0.3%的东西。
所以问题是,您想成为反复交付突破性AI的公司,还是想成为交付比原来好0.3%的公司?这就是为什么这场比赛如此重要的原因,因为在所有技术竞赛中,这场比赛非常重要。而且您正在看到这场竞赛在多家公司中展开,因为这对公司来说非常关键,以信任领导力并想在您的平台上建设,并且知道他们正在建设的平台将越来越好。
所以领导力非常重要,训练时间非常重要。提前三个月完成项目的时间,为了获得训练时间。您知道,提前三个月开始一个三个月的项目。提前三个月开始是一切。所以这就是为什么我们现在如此疯狂地建立hopper系统的原因,因为下一个里程碑就在拐角处。所以这就是第二个原因。
您刚才发表的第一个评论真的很棒,那就是,您知道,我们进展如此之快,进步如此之快,因为我们拥有所有这些统计数据。我们在这里构建了整个数据中心,我们可以监控一切,测量一切,跨一切进行优化。
我们知道所有的瓶颈在哪里。我们不是在猜测。我们不是在制作看起来不错的Powerpoint幻灯片。我们实际上,您知道的,我们也喜欢我们的Powerpoint幻灯片看起来不错,但我们正在交付在规模上表现出色的系统。我们之所以知道它们在规模上表现出色的原因是因为我们构建了它们所有。
现在,我们做的一件事有点奇迹,那就是我们在这里构建了整个AI基础设施,但然后我们将其解聚并集成到客户的数据中心,无论他们喜欢什么方式。但我们知道它将如何表现,我们知道瓶颈在哪里,我们知道我们需要在哪里与他们一起优化,我们知道我们需要帮助他们改进他们的基础设施,以实现最佳性能。
这种对整个数据中心规模的深刻、亲密的了解,基本上就是今天让我们与众不同的原因。您知道,我们从头开始构建每一个芯片。我们确切地知道整个系统中的处理方式,所以我们知道它将如何表现,以及如何利用每一代产品获得最佳效果。所以我很感激您提出的这三个观点。
独立投资银行咨询Evercore分析师Marco Pacas:
在过去,您曾说过,通用计算生态系统通常主导了每个计算时代。我相信论点是它们可以适应不同的工作负载,获得更高的利用率,推动计算周期下降。这是您推动通用GPU计算生态系统加速计算的动机。如果我误解了您的观察,请告诉我。
所以问题是,鉴于推动您解决方案需求的工作负载是由神经网络训练和推理驱动的,表面上看,这似乎是一个有限的工作负载数量,那么它们也可能倾向于定制解决方案。那么问题是,通用计算框架是否变得更加有风险?或者是否有足够的变化性或这些工作流程的快速演变,支持那个历史性的通用框架。谢谢。
黄仁勋:
是的,这些加速计算是多功能的,但我不会称之为通用。比如,我们不会很擅长运行电子表格,您知道,这是为通用计算而设计的。而且,控制操作系统代码的循环可能对通用计算不是很好,对我们的,对我们的,对我们的加速计算不是很好。
所以我会说我会说我们是多功能的,这通常是我描述它的方式。多年来,我们能够加速的应用程序领域非常丰富,但它们都有很多的共同点。您知道,可能有一些深刻的差异,但有共同点,它们都是可以并行运行的。它们都是高度线程化的。5%的代码代表了99%的运行时间,
例如。这些都是加速计算的属性。我们平台的多功能性和我们设计整个系统的事实是,在过去的10年左右,你们在这些电话会议中问我的初创公司的数量相当大。而且每一个,因为它们的架构非常脆弱,当生成性AI出现时,在扩散模型出现时,当下一个模型出现时,现在下一批模型即将出现。
然后突然之间,看看这些具有记忆的大型语言模型。因为大型语言模型需要有记忆,这样它们才能与您进行对话,理解上下文。突然之间,Grace内存的多功能性变得非常重要。所以每一个这些生成性AI的进步,以及AI的进步,真的需要的不是为一个模型设计的一个小部件,而是有一些对这个整个领域真正很好的部件。
但遵循软件的首要原则,软件将继续发展,软件将继续变得更好更大。我们相信这些模型的扩展。有很多原因,我们将在未来几年内轻松地扩展一百倍,我们期待着它,我们为此做好了准备。所以平台的多功能性真的是关键。而且,如果您太脆弱、太具体了,您可能只是建一个FPGA或者建一个ASIC或者类似的东西,但那几乎不是一台计算机。
Raymond James分析师Serena Pajuri:
实际上,我想澄清一下你刚才说的关于GB200系统的内容。看起来对系统的需求非常强劲。历史上,我认为你们卖出了很多AGX板卡和一些GPU,而系统业务相对较小。所以我很好奇,为什么现在你们看到对系统有这么强的需求?这是因为TCO(总体拥有成本)吗?还是其他什么原因?或者是因为架构?
黄仁勋:
谢谢你的提问。实际上,我们销售GB200的方式是一样的。我们分解所有有意义的组件,并将它们集成到计算机制造商中。今年我们有100种不同的计算机SIS配置即将推出用于Blackwell,而这超出了预期。
坦白说,Hopper只有一半的数量。而这是其巅峰,最初甚至远少于此。你会看到液冷版本、风冷版本、x86版本、Grace版本等等。很多系统正在设计中,并由我们所有的优秀合作伙伴提供。基本没有什么变化。
当然,Blackwell平台极大地扩展了我们的产品供应。CPU的集成和更高密度的计算能力,液冷技术将为数据中心节省大量的资金和电力供应,不仅更节能,而且是一个更好的解决方案。它更昂贵,意味着我们为数据中心提供了更多的组件,每个人都会受益。
数据中心将从高性能网络、网络交换机中获得更高的性能。当然,还有以太网。这样我们就可以将Nvidia AI大规模地带给那些只操作或只熟悉以太网的客户,因为他们的生态系统就是如此。因此,Blackwell更加昂贵,我们这一代有更多的产品提供给我们的客户。”
Truest Securities分析师William Stein:
“很好。谢谢你回答我的问题,Jensen。在某个时刻,Nvidia决定,虽然有一些相当不错的CPU可用于数据中心操作,但你们的基于ARM的Grace CPU提供了一些真正的优势,使得这种技术值得交付给客户,这可能与成本或功耗或Grace与Hopper、Grace与Blackwell之间的技术协同有关。
你能否谈谈是否在客户端也可能出现类似的动态情况?尽管有非常好的解决方案,比如你提到的Intel和AMD是非常好的合作伙伴,并且提供了出色的x86产品,但在新兴的AI工作负载中,Nvidia可能提供一些其他人难以实现的优势。”
黄仁勋:
您提到了一些非常好的理由。对于许多应用程序,我们与x 86合作伙伴的合作确实非常好,我们共同构建了出色的系统。 但是Grace使我们能够做一些在今天的系统配置中不可能的事情。Grace和Hopper之间的内存系统是连贯且连接的。这两个芯片之间的互连,你知道,把它们称为两个芯片几乎很奇怪,因为它们就像一个超级芯片。它们通过这种每秒数TB的接口连接在一起。是的,这太棒了。而且,Grace使用的内存是lpddr。这是第一个数据中心级低功耗内存。所以我们在每个节点上都节省了很多电力。
最后,由于架构,因为我们可以用整个系统创建自己的架构,现在我们可以创建一个真正大的MV Link域,这对于下一代大型语言模型进行推理至关重要。所以你看到GB 200有一个72节点MV Link域。这就像72个Blackwells连接在一起,形成一个巨大的GPU。所以我们需要Grace Blackwells才能做到这一点。所以我,如果有像那样的机会,你知道,我们会探索它。而且,正如你在昨天的构建中看到的那样,我认为非常棒。
正如Satya宣布的下一代PC是Copilot plus PC,它在Nvidia的RTX GPU上运行得非常好,这些GPU正在笔记本电脑上发货。但它也支持ARM,非常出色。所以它为系统创新打开了机会,即使是PC。
Kendra Fitzgerald分析师CJ Muse:
我想问Jensen一个稍微长远的问题。我知道Blackwell甚至还没有发布,但显然投资者是前瞻性的,而且在潜在的GPU和客户的竞争不断增加的情况下,您如何看待Nvidia在创新方面的步伐,过去十年的百万倍扩展以及在精密度、Grace、连贯连接方面取得的真正令人印象深刻的进展。展望未来,未来十年需要解决哪些摩擦?我想更重要的是,您今天愿意与我们分享什么?
嗯,我可以宣布,在Blackwell之后,还会有另一款芯片,我们将以一年为周期进行更新。因此,你们也可以指望我们以非常快的速度推出新的网络技术。
我们正在发布以太网的Spectrum X,但我们完全投入以太网,我们有一个非常令人兴奋的以太网路线图。我们拥有丰富的合作伙伴生态系统。戴尔宣布他们将Spectrum X推向市场。我们有丰富的合作伙伴和客户,他们将宣布将我们整个人工智能工厂架构推向市场。
因此,对于那些希望获得最终性能的公司,我们有无限带宽计算结构。Infiniband是一种计算结构,以太网和网络。多年来,Infiniband起初是一种计算结构,逐渐变成了一种越来越好的网络。以太网是一个网络。通过Spectrum X,我们将使其成为一个更好的计算结构。我们致力于所有3个链接,从Envy链接,通勤计算结构到无限带宽计算结构,再到以太网网络计算结构。
因此,我们将以非常快的速度推进所有这三个方面。您将看到新的交换机、新的下一步、新的功能、运行在所有这三个方面的新软件堆栈。新的CPU、新的GPU、新的网络、下一步新的交换机、新的芯片数量以及所有这一切美好的事情都是运行在Kuda上,都运行我们的整个软件堆栈。
因此,如果您今天投资我们的软件堆栈,而不需要做任何事情,它只会变得越来越快。如果您今天投资我们的架构,而不需要做任何事情,它将变得越来越多的云和越来越多的数据中心,一切都会变得更好。因此,我认为我们正在带来的创新速度将一方面提高能力,另一方面降低TCO。因此,我们应该能够通过Nvidia架构为这个新时代的计算扩展,并开始这个新的工业革命,在那里我们不再只是制造软件,而是制造人工智能代币,我们将以规模实现这一目标。谢谢。
本文来自微信公众号“硬AI”,关注更多AI前沿资讯请移步这里