英伟达“不负众望”,二季度业绩再次表现出色,收入在强劲数据中心需求下继续超预期。不过,三季度收入指引低于最乐观预期,预计六个季度内首度放缓至两位数,导致英伟达盘后股价巨震,目前跌超6%。
在财报公布后的电话会上,CEO黄仁勋对AI前景保持乐观态度,认为生成式AI的发展势头正在加速,”公司在重塑全球数据中心方面才刚刚开始而已,而这是一个万亿美元规模的机会。
关于备受关注的Blackwell进展及需求,英伟达表示,市场对Hopper芯片的需求“持续强劲”,对Blackwell也备受期待。随着Blackwell在四季度开始量产,预计将获得数十亿美元的收入,但未未回答数十亿美元收入是否是增量。
以下是本次电话会要点:
Blackwell及Hopper强劲需求将共存:英伟达二季度向客户交付Blackwell架构的样品,对 Blackwell GPU 掩膜进行了更改以提高生产良率。Blackwell 计划于第四季度开始量产,并持续到 2026 财年,预计将在第四季度带来“数十亿美元”的收入。
Hopper的出货量预计将在2025财年下半年增加,Hopper的供应和可用性都有所改善,Blackwell 平台的需求远高于供应,预计这种情况将持续到明年。
中国市场贡献较大:第二季度中国市场数据中心收入连续增长,成为数据中心收入的重要贡献者。
主权AI业务在增长:随着各国认识到人工智能技术和基础设施是社会和产业的当务之急,我们的人工智能主权机会也在不断扩大,预计2024年的主权AI业务将增加几十亿美元。
NVLink将改变交换领域游戏规则:Blackwell系统可将72GB200封装的144个 GPU连接到一 NVLink域,一个机架的 NVLink 总带宽为每秒259TB。从这个角度来看,这比Hopper高出约10 倍;在推理方面,NVLink对于低延迟、高吞吐量的大型模型至关重要。
产品迭代对毛利率的影响:三季度毛利率指引是75%左右,那么第四季度毛利率就会在71%—72%之间,预计全年毛利率也将在70%,主要是由于转型和推出的新产品成本结构不同。
关于资本支出回报问题:加速计算可以加快应用速度,这直接带来的是更低的成本和能耗;多家公司都在加速创建AI业务,一旦建立的数据中心都会被租用,投资回报率非常高;目前AI是投入使用的最佳计算基础设施。
以下是英伟达2025财年第二季度电话会全文
英伟达投资者关系部高级总监:Stewart Stecker
谢谢大家,大家下午好,欢迎收听英伟达2025财年第二季度电话会议。今天与我一起参加英伟达电话会议的有总裁兼首席执行官黄仁勋和执行副总裁兼首席财务官科莱特-克莱斯。
在本次电话会议中,我们将讨论非美国通用会计准则的财务指标。您可以在我们网站上发布的首席财务官评论中找到非美国通用会计准则财务指标和美国通用会计准则财务指标的对账。让我重点介绍一下即将举行的金融界活动,我们将参加9月11日在旧金山举行的高盛社区与技术大会,届时黄仁勋将参加一个主题对话。
英伟达2025财年第三季度业绩的财报电话会议定于2024年11月20日星期三举行,下面请科莱特发言。
首席财务官、执行副总裁:Colette M. Kress
第二季度又是一个创纪录的季度,收入达到300亿美元,环比增长15%,同比增长122%,远高于我们预期的280亿美元。
首先是数据中心,在英伟达Hopper、GPU计算和网络平台强劲需求的推动下,数据中心收入达到创纪录的263亿美元,环比增长16%,同比增长154%。计算收入增长超过2.5倍,网络业务收入同比增长了2倍多。云服务提供商约占我们数据中心收入的45%,50%以上来自消费互联网和企业公司。
客户继续加快Hopper架构购买,同时准备采用Blackwell。推动我们数据中心增长的主要工作负载包括:AI模型训练和推理;使用 CUDA 和人工智能工作负载进行视频、图像和文本数据预处理和后处理;合成数据生成;AI驱动的推荐系统;SQL 和矢量数据库处理。
下一代模型将需要10—20 倍的算力来处理更多的数据,预计这一趋势将持续下去。在过去的四个季度中,我们估计推理业务占数据中心收入的 40% 以上,CSP、消费互联网公司和企业都受益于英伟达推理平台惊人的吞吐量和效率。对英伟达推理平台的需求来自于前沿模型制造商、消费互联网服务以及数以万计的为消费者、广告、教育、企业和医疗保健以及机器人技术构建AI应用的公司和初创企业。开发人员渴望 NVIDIA 丰富的生态系统以及在各种云中的可用性。
CSP 对 NVIDIA 的广泛采用表示赞赏,并在需求旺盛的情况下不断扩大其 NVIDIA 使用。NVIDIA H200 平台已于第二季度开始量产,并向大型 CSP、消费互联网和企业公司发货。英伟达H200以Hopper架构为基础,与H100相比,内存带宽增加了40%以上。
第二季度,我们在中国的数据中心收入连续增长,成为我们数据中心收入的重要贡献者。我们仍然预计中国市场未来的竞争将非常激烈,最新一轮的MLPerf推理基准测试凸显了英伟达在推理领域的领先地位,英伟达Hopper和Blackwell平台在所有任务中均获得金牌。在本届Computex上,英伟达与顶级计算机制造商共同发布了一系列Blackwell架构驱动的系统和英伟达网络,用于构建人工智能工厂和数据中心。
借助英伟达MGX模块化参考架构,我们的OEM和ODM合作伙伴正CSP构建100多个基于Blackwell的系统,NVIDIA Blackwell平台汇集了多个GPU、CPU、DPU、NVLink和Link Switch,以及网络芯片、系统和NVIDIA CUDA软件,为跨空余、跨行业和跨国家的下一代人工智能提供动力。搭载第五代NVLink的英伟达GB200 NVL72系统能够让所有72个GPU作为单个GPU运行,为LLM工作负载提供高达30倍的推理速度,并释放实时运行万亿参数模型的能力。
Hopper 需求强劲,Blackwell 正在广泛采样,我们对Blackwell GPU的质量进行了调整,以提高产量。Blackwell 计划于第四季度开始量产,并持续到26财年。在第四季度,我们预计将获得数十亿美元的Blackwell 收入,Hopper 的出货量预计将在 2025 财年下半年增加。Hopper 的供应和可用性都有所改善,Blackwell 平台的需求远高于供应,我们预计这种情况将持续到明年。
网络业务收入连续增长 16%。随着数百家客户采用我们的以太网产品,我们的人工智能以太网收入(包括 Spectrum-X 端到端以太网平台)连续翻番。Spectrum-X得到了OEM和ODM合作伙伴的广泛支持,并被CSP、GPU云提供商和企业所采用,包括xAI连接全球最大的GPU计算集群。Spectrum-X为人工智能处理提供了超强的以太网,其性能是传统以太网的1.6倍。我们计划每年推出新的Spectrum-X产品,以支持将计算集群从目前的数万个GPU扩展到不久的将来的数百万个DPU的需求。Spectrum-X 将在一年内成为价值数十亿美元的产品线。
随着各国认识到人工智能专业技术和基础设施是本国社会和产业的当务之急,我们的人工智能主权机会也在不断扩大。日本国家先进工业科学与技术研究所正在与英伟达合作建设其人工智能桥接云基础设施 3.0 超级计算机。我们相信,今年Hopper 人工智能收入将达到低两位数。
企业人工智能浪潮已经开始,企业推动了本季度收入的连续增长。我们正与大多数财富 100 强企业合作,在各个行业和地区实施人工智能计划。一系列应用正在推动我们的增长,包括人工智能驱动的聊天机器人、生成式人工智能协同机器人以及用于构建新的可盈利业务应用和提高员工生产力的代理。Amdocs 将英伟达生成式人工智能应用于其智能代理,改变了客户体验,并将客户服务成本降低了 30%。
ServiceNow 将英伟达技术用于其 Now Assist 产品,这是公司历史上增长最快的新产品。SAP 正在使用英伟达打造企业级应用。Cohesity正在使用英伟达来构建其生成式人工智能代理,并降低生成式人工智能的开发成本。Snowflake公司每天为10000多家企业客户提供30多亿次查询服务,该公司正在与英伟达企业级应用。
最后,他们正在使用英伟达AI Omniverse 将工厂的端到端周期时间缩短 50%。汽车行业是本季度的主要增长动力,因为每家开发自动驾驶汽车技术的汽车制造商都在其数据中心使用英伟达。汽车行业将为内部部署和云消费带来数十亿美元的收入,而且随着下一代 AV 车型对计算能力的要求大幅提高,来自汽车行业的收入也将随之增长。随着人工智能对医疗成像、手术机器人、病人护理、电子健康记录处理和药物研发的革新,医疗保健也将成为一项价值数十亿美元的业务。
在本季度,我们宣布了一项新的英伟达AI代工服务,利用Meta的Llama 3.1 模型集为全球企业的生成式人工智能提供超级动力,这标志着企业人工智能的分水岭。企业首次可以利用开源前沿级模型的能力来开发定制的人工智能应用,将其机构知识编码成人工智能飞轮,从而实现业务自动化和加速。埃森哲是首家采用新服务来构建定制 Llama 3.1 模型的公司,该模型既可用于公司自身,也可协助客户部署生成式人工智能应用。
英伟达NIM模型加快并简化了部署,医疗保健、能源、金融服务、零售、运输和电信领域的公司都在采用 NIM,其中包括 Aramco、Lowes 和 Uber。AT&T 在将 NIM 用于生成式人工智能、呼叫转录和分类后,实现了70% 的成本节约和八倍的延迟降低。超过 150 家合作伙伴正在人工智能生态系统的每一层嵌入NIM。
我们发布了 NIM Agent Blueprint,这是一个可定制的参考应用目录,其中包括用于构建和部署企业生成式人工智能应用的全套软件。有了 NIM Agent Blueprint,企业就可以逐步完善其人工智能应用,创建一个数据驱动的人工智能飞轮。首批 NIM Agent Blueprints 包括用于客户服务、计算机辅助药物发现和企业检索增强生成的工作负载。我们的系统集成商、技术解决方案提供商和系统构建商正在为企业带来英伟达NIM Agent Blueprints。
英伟达NIM 和 NIM Agent Blueprints 可通过 NVIDIA AI Enterprise 软件平台获得,该平台势头强劲。我们预计,到今年年底,我们的软件、SaaS 和支持收入的年增长率将接近 20 亿美元,其中 NVIDIA AI Enterprise 对增长的贡献尤为显著。
再来看游戏和AI PC,游戏收入为28.8 亿美元,环比增长9%,同比增长16%。我们看到游戏机、笔记本电脑和台式机收入连续增长,需求强劲且不断增长,渠道库存保持健康。每一台配备 RTX 的 PC 都是一台人工智能 PC。RTX PC 可提供多达 1300 个人工智能顶部,目前领先的 PC 制造商已设计出 200 多款 RTX AI 笔记本电脑。凭借 600款人工智能驱动的应用和游戏以及 1 亿台设备的安装量,RTX 将通过生成式人工智能彻底改变消费者的体验。
NVIDIA ACE 是一套生成式人工智能技术,可用于 RTX AI PC。Megabreak 是首款使用英伟达的游戏,其中包括我们的小语言模型 Nemotron 4B,该模型在设备推理上进行了优化。英伟达游戏生态系统不断发展壮大。最近新增的 RTX 和 DLSS 游戏包括《夺宝奇兵》、《沙丘觉醒》和《龙腾世纪:面杀守卫》。GeForce NOW 资料库不断扩大,目录总规模超过 2000 种,是所有云游戏服务中内容最多的。转向专业可视化,收入为 4.54 亿美元,环比增长 6%,同比增长 20%。人工智能和图形用例(包括模型微调和 Omniverse 相关工作负载)推动了市场需求。
汽车和制造业是本季度推动增长的主要垂直行业之一,各公司都在竞相实现工作流程的数字化,以提高整个运营的效率。全球最大的电子制造商富士康正在使用 NVIDIA Omniverse 为生产 NVIDIA Blackwell 系统的物理工厂的数字孪生提供支持。包括梅赛德斯-奔驰在内的几家大型全球性企业与 NVIDIA Omniverse Cloud 签订了多年期合同,以构建工厂的工业数字孪生。
我们发布了新的英伟达USD NIM 和连接器,将 Omniverse 开放给新的行业,使开发人员能够将生成式人工智能协同驾驶员和代理纳入 USD 工作负载,加快我们构建高精度虚拟世界的能力。WPP 正在为可口可乐公司等客户在其生成式人工智能内容创建流水线中实施 USD NIM 微服务。转向汽车和机器人技术,收入为 3.46 亿美元,环比增长 5%,同比增长 37%。
自动驾驶平台新客户的增加,以及对人工智能驾驶舱解决方案需求的增长推动了该业务同比增长,在计算机视觉与模式识别大会的消费者分会上,英伟达在“自主品牌挑战赛”的“端到端高档驾驶 ”分会场中胜出,在全球400多个参赛项目中脱颖而出。波士顿动力、比亚迪电子)、Figure、Intrinsyc、西门子和泰瑞达机器人正在将英伟达 Isaac 机器人平台用于自主机械臂、人形机器人和移动机器人。
现在,我们来看看损益表其他部分,GAAP 毛利率为 75.1%,非 GAAP 毛利率为 75.7%,环比下降的原因是数据中心的新产品组合增加,以及为低收益的Blackwell材料计提了库存拨备。GAAP 和非 GAAP 运营费用环比增长12%,主要反映了薪酬相关成本的增加。运营现金流为145 亿美元,第二季度,我们动用了74亿美元的现金,以股票回购和现金分红的形式回报股东,这反映了每股股息的增加。我们的董事会最近批准了500 亿美元的股票回购授权,以补充第二季度末剩余的 75 亿美元授权。
请允许我谈谈第三季度的展望,总收入预计为 325 亿美元,上下浮动2%,我们的第三季度收入展望包括 Hopper 架构的持续增长和 Blackwell 产品的样品,预计Blackwell的产量将在第四季度上升,GAAP 和非 GAAP 毛利率预计分别为74.4%和75%,上下浮动50个基点。随着我们的数据中心组合继续向新产品转移,预计这一趋势将持续到 2025 财年第四季度,全年的毛利率预计在 70% 左右。
按照美国通用会计准则(GAAP)和非美国通用会计准则(Non-GAAP)计算的运营费用预计分别约为43亿美元和30亿美元,由于我们致力于开发下一代产品,预计全年运营费用将增长40%左右。按照美国通用会计准则(GAAP)和非美国通用会计准则(Non-GAAP)计算的其他收入和支出预计约为3.5 亿美元,其中包括非关联投资和公开持有的股权证券损益。美国通用会计准则(GAAP)和非美国通用会计准则(Non-GAAP)税率预计为17%,上下浮动1%,不包括任何单项项目。
Q&A环节
Q1 分析师Vivek Arya:感谢你回答我的问题,Jensen你在评论中提到,Blackwell GPU掩膜有所变化。我很好奇,在后端封装或其他方面是否有其他增量变化?与此相关的是,你曾表示尽管设计有变化,但第四季度 Blackwell 的出货量仍将达到数十亿美元。是因为到那时所有这些问题都会得到解决吗?请帮助我们评估Blackwell时间安排上的任何变化会产生什么整体影响,这对你们的收入状况意味着什么,以及客户对此有何反应?
总裁兼首席执行官:Jensen Huang
好的谢谢,Blackwell的改动已经完成,没有功能上的改变,我们正在对 Blackwell、Grace Blackwell 以及各种系统配置进行功能性采样。在 Computex上展示的基 Blackwell 的系统大约有 100 种不同类型,我们正在让我们的生态系统开始提供这些样品。Blackwell的功能保持不变,我们预计将在第四季度开始生产。
Q2 高盛 Toshiya Hari:我有一个相对长期的问题。您可能知道,市场上对您的客户和客户的客户的投资回报率,以及这对未来资本支出的可持续性意味着什么,争论得相当激烈。
在英伟达内部,你们在关注什么?在衡量客户回报以及客户回报对资本支出的影响时,你们的仪表盘上有哪些内容?然后是科莱特的后续问题。我想文你们全年的主权AI可能会增加几十亿。是什么推动了前景的改善,我们应该如何看待 26 财年?
总裁兼首席执行官:Jensen Huang
首先,当我说第四季度开始生产时,我指的是发货,而不是开始发货。关于更长远的问题,让我们退一步说。你们听我说过,我们正在同时经历两个平台的转型。
首先是从加速计算过渡到通用计算,从通用计算过渡到加速计算。究其原因,众所周知CPU的扩展速度已经放缓了一段时间,而且已经慢到了爬行的地步。然而,计算需求量仍在大幅增长。甚至可以估计,每年都在翻番。
因此,如果我们不采取新的方法,计算膨胀将推高每家公司的成本,并将推高全球数据中心的能耗。事实上,你们已经看到了这一点,就是加速计算。
我们知道,加速计算当然可以加快应用速度。它还能让你进行更大规模的计算,例如科学模拟或数据库处理,但这直接带来的是更低的成本和能耗。事实上,本周就有一篇博客介绍了我们提供的一系列新库。而这正是第一个平台过渡的核心,从通用计算到加速计算,有人能节省 90% 的计算成本,这并不稀奇。当然,原因在于你刚刚将应用程序的运行速度提高了 50 倍。你会预期计算成本会大幅下降。
其次,加速计算之所以能够实现,是因为我们将训练大型语言模型或训练深度学习的成本降到了令人难以置信的地步,以至于现在有可能建立巨大规模的模型、数百万参数的模型,并对其进行训练,在全世界几乎所有的知识语料库上对其进行预训练,然后让模型去弄清楚如何理解人类语言表征,如何将知识编码到其神经网络中,以及如何学习推理,从而引发了生成式人工智能革命。现在,我们回过头来看看,为什么我们要如此深入地研究生成式人工智能,因为它不仅仅是一种功能,也不仅仅是一种能力,这是一种全新的软件开发方式。我们现在有了数据,而不是人类设计的算法。我们告诉人工智能,我们告诉模型,我们告诉计算机预期的答案是什么。我们之前的观察结果是什么?
然后让它找出算法是什么,功能是什么。它学习一个通用人工智能是一个通用函数近似器,它可以习函数。因此,你可以学习几乎任何东西的功能,任何可预测的东西,任何有结构的东西,任何你以前有例子的东西,所以现在我们有了生成式人工智能。这是计算机科学的一种基本新形式。从 CPU 到 GPU,从人类设计的算法到机器学习的算法,它正在影响计算的每一层,而你现在可以开发和生产的应用类型从根本上来说是非常了不起的。
生成式人工智能正在发生几件事情。首先,前沿模型的规模正在不断扩大, 我们仍在看到扩展带来的好处。每当你把一个模型的规模扩大一倍,你也必须把用于训练它的数据集的规模扩大一倍以上。因此,创建模型所需的运算次数会呈四倍增长。因此,下一代模型所需的计算量可能是上一代的 10、20、40 倍,这并不出人意料。
因此,我们必须继续大幅提高世代性能,这样才能降低能耗,降低必要的成本。因此,首先是在更多模式下训练的前沿模型更大。令人惊讶的是,前沿模型的制作者比去年更多了。因此,你会有越来越多、越来越多的机会。这就是生成式人工智能的动力之一。
其次,虽然这还只是冰山一角,但我们看到的是 ChatGPT 图像生成器。我们看到的是编码,在英伟达,我们将生成式人工智能广泛用于编码。当然,我们也有很多数字设计师和诸如此类的人员。但这些只是冰山一角。冰山之下的是当今世界上最大的系统、最大的计算系统,也就是你们过去听我讲过的,从中央处理器转向的推荐系统。现在正从CPU 转向生成式人工智能。
因此,推荐系统、广告生成、定制广告生成,以非常大的规模和相当高的定位、搜索和用户生成的内容为目标的广告,这些都是非常大规模的应用,现在已经发展到生成式人工智能。当然,生成式人工智能初创企业的数量正在为我们的云合作伙伴带来数百亿美元的云租赁机会。还有主权人工智能,一些国家现在意识到,他们的数据是他们的自然资源和国家资源,他们必须使用人工智能,建立自己的人工智能基础设施,这样他们就可以拥有自己的数字智能。正如科莱特之前提到的,企业人工智能正在起步,你可能已经看到我们宣布全球领先的IT公司将加入我们的行列,将英伟达人工智能企业平台推向全球企业。
与我们交谈过的公司中,有很多都对提高公司生产力感到无比兴奋。然后是通用机器人技术。去年,随着我们能够通过观看视频和人类演示来学习物理人工智能,以及从 Omniverse 等系统的强化学习中生成合成数据,我们实现了重大转变,现在我们能够与几乎所有机器人公司合作,开始思考和构建通用机器人技术。你可以看到,生成式人工智能正朝着许多不同的方向发展。
因此,我们实际上看到生成式人工智能的发展势头正在加速。
首席财务官、执行副总裁:Colette M. Kress
关于自如人工智能的问题,以及我们在增长和收入方面的目标,这当然是一个独特的、不断增长的机会,随着生成式人工智能的出现,世界各国都希望拥有自己的生成式人工智能,能够将自己的语言、自己的文化、自己的数据融入该国。因此,越来越多的人对这些模型以及它们能为这些国家带来什么感到兴奋,所以,我们看到了一些发展机遇。
Q3 摩根士丹利乔-摩尔:在新闻稿中,你谈到Blackwell的预期令人难以置信,但似乎hopper的需求也非常强劲。如果没有Blackwell,你们十月份也将迎来一个非常强劲的季度。那么,你认为两者的强劲需求还能共存多久?你能谈谈向Blackwell的过渡吗?你认为人们会混合使用集群吗?你认为Blackwell的大部分活动是新的集群吗?想了解一下过渡时期的情况。
总裁兼首席执行官Jensen Huang
好的谢谢,对hopper的需求真的很强烈没错,对Blackwell的需求也非常大。
这有几个原因。第一个原因是,如果你看看全球的云服务提供商,他们可用的 GPU 容量基本上是零。究其原因,是因为它们要么在内部部署,用于加速自己的工作负载,比如数据处理。数据处理,我们很少谈论它,因为它很平凡。
它并不酷,因为它不会生成图片或文字。但是世界上几乎所有的公司都在后台处理数据。而英伟达的 GPU 是这个星球上唯一能处理和加速数据的加速器,SQL数据、Pandas数据、数据科学工具包(如Pandas工具包和新推出的Polar工具包)。
这些都是世界上最流行的数据处理平台,正如我之前提到的,除了CPU,NVIDIA的加速计算确实是提升CPU性能的唯一途径。早在生成式人工智能出现之前,第一大用例就是将应用程序一个接一个地迁移到加速计算平台。
第二当然是租赁,他们把产能租给模型制造商。他们把能力租给初创公司。而一家人工智能公司则会将绝大部分投资资金投入到基础设施建设中,以使用人工智能来帮助他们创造产品,因此这些公司现在就需要。他们只是根本负担不起 -。你只是筹集资金。他们希望你现在就把钱用起来,你有必须要做的事情。
你不能明年再做,你必须今天就做,这是一个公平的原因。hopper需求强劲的第二个原因是,人们都在争先恐后地向下一阶段迈进。第一个到达下一个高原的人,就能引入革命性的人工智能。第二个达到目标的人也会逐步提高,或者与第一个人差不多。因此,有系统地、持续地向下一阶段迈进,并成为第一个到达那里的人,这就是建立领导地位的方法。英伟达一直在这样做,我们向世界展示了这一点,我们制造的 GPU、我们制造的人工智能工厂、网络系统、SoC。
我的意思是我们要引领潮流,希望始终保持世界第一,这就是我们如此努力的原因。当然,我们也希望梦想成真,未来能力以及我们能为社会带来的益处,这些模型制造商也是如此。当然,他们想成为世界上最好的。他们想成为世界第一。虽然Blackwell将在今年年底开始出货,金额达数十亿美元,但产能的建立可能还需要数周或一个月左右的时间。因此从现在到那时,生成式人工智能市场将充满活力。
每个人都非常着急,这要么是他们需要它的操作原因。他们需要加速计算。他们不想再建立更多的通用计算基础设施,甚至是 Hopper。当然H200 是最先进的。如果你要在现在为企业构建 CPU 基础设施和现在为企业构建 Hopper 基础设施之间做出选择,那么这个决定是相对明确的。我认为,人们只是急于将已安装的 1 万亿美元基础设施转化到现代基础设施,而 Hopper 就是最先进的基础设施。
Q4 TD Cowen分析师Matt Ramsay:我想回到之前的一个问题,即投资者对所有这些资本支出的投资回报率的争论。你看到有多少人花了这么多钱,希望推动AGI融合的前沿,正如你刚才说的,在能力上达到一个新的高度,他们会不惜一切代价达到这样的能力水平,这为行业和他们的公司打开了许多大门。
而现在的客户则非常、非常关注资本支出和投资回报率。我不知道这样区分是否有意义。我只是想了解一下,你是如何看待那些在这项新技术上投入资金的人的优先考虑事项,他们的优先考虑事项是什么,他们的投资时间框架是什么?
总裁兼首席执行官Jensen Huang:
投资英伟达基础架构的用户马上就能获得回报,这是目前投资回报率最高的基础架构、计算基础架构投资。因此,一种思考方式,可能是最简单的思考方式,就是回到最初的原则。
你拥有价值 1 万亿美元的通用计算基础设施,问题是,你还想不想建立更多这样的基础设施?每建立一个价值 10 亿美元的通用CPU 的基础设施,租用费用可能不到 10 亿美元。因此,由于它的商品化,地面上已经有 1 万亿美元了,再多又有什么意义呢?因此,那些吵着要获得这种基础设施的人,一是当他们建立起基于 Hopper 的基础设施,很快就会建立起基于 Blackwell 的基础设施时,他们就开始省钱了。
这就是巨大的投资回报。他们开始省钱的原因是数据处理省钱,而数据处理可能只是其中的一个重要部分。因此,推荐系统可以省钱,等等等等,这样,你就开始省钱了。
第二件事是,你所建立的一切都会被租用,因为有这么多公司正在创建生成式人工智能。你的能力马上就会被租用,投资回报率非常高。
第三个原因是你自己的业务。你是想自己创造下一个前沿领域,还是想让自己的互联网服务受益于下一代广告系统、下一代推荐系统或下一代搜索系统?因此,对于你自己的服务、你自己的商店、你自己的用户生成内容、社交媒体平台、你自己的服务,生成式人工智能也是一个快速的投资回报率。因此,你可以从很多方面来考虑这个问题。
但究其核心,是因为它是目前可以投入使用的最佳计算基础设施。通用计算的世界正在转向加速计算。人类设计的软件世界正在转向生成式人工智能软件。如果你要建立基础设施来实现云计算和数据中心的现代化,那就用英伟达的加速计算技术来建立吧,这是最好的办法。
Q5 瑞银Timothy Arcuri:非常感谢。我想问一下近期和长期的收入增长情况。我知道,你们今年确实增加了运营成本。如果我看一下你们采购承诺和供应义务的增加,这也是相当乐观的。
另一方面,也有一些观点认为,似乎并没有多少客户真正准备好使用液冷,我也知道有些机架可以使用风冷。这是否是Blackwell 在发展过程中需要考虑的问题?然后,当你把目光投向明年以后,这显然会是一个很好的年份,你会看到 26 年,你是否会担心任何其他制约因素,比如说,电源供应链,或者在某些时候,机型开始变得越来越小?
总裁兼首席执行官Jensen Huang
我要倒着来。非常感谢你的提问请记住,世界正在从通用计算转向加速计算,全球正在建设价值约 1 万亿美元的数据中心。
几年后,价值 1 万亿美元的数据中心将全部采用加速计算。过去数据中心没有GPU只有 CPU,未来每个数据中心都将配备 GPU。这样做的原因很清楚:因为我们需要加速工作负载,这样我们才能继续保持可持续发展,继续降低计算成本,这样当我们进行更多计算时,就不会出现计算膨胀。
其次,我们需要 GPU 来实现一种名为“生成式人工智能”的新计算模式,我们都知道这将对未来的计算产生巨大的变革。因此我认为,逆向思维的方式是,世界基础设施的下一个 1 万亿美元将明显不同于上一个1 万亿美元,它将大大加速。关于坡道的形状,我们提供多种配置的Blackwell配置。Blackwell有经典Blackwell和HGX两种,前者采用了我们在Volta上率先采用的HGX外形尺寸。
我认为是Volta,我们的 HGX 外形已经出货一段时间了,它是风冷式的。Grace Blackwell是液冷的,希望采用液冷技术的数据中心数量相当可观。究其原因,是因为我们可以在液冷数据中心,在任何数据中心 -- 限电数据中心,无论你选择什么规模的数据中心,都可以安装和部署比过去高三到五倍的人工智能吞吐量。因此,液冷的成本更低。液冷技术使我们的总体拥有成本(TCO)更低,液冷技术还能让你受益于我们称之为NVLink 的功能,它允许我们将其扩展到 72 个Grace Blackwell软件包,基本上有144 个GPU。
想象一下,144 个GPU通过 NVLink 连接在一起。我们会越来越多地向你展示这样做的好处。下一次点击显然是非常低的延迟、非常高的吞吐量的大型语言模型推理,而大型 NVLink 领域将改变游戏规则。因此,我认为人们在部署这两款产品时会非常得心应手。
因此,几乎所有与我们合作的 CSP 都在部署这两种技术。因此我很有信心,我们会顺利地提升产能。第二个问题是,展望未来,明年将是一个伟大的年份,我们预计明年的数据中心业务将大幅增长。
Blackwell 将彻底改变整个行业的游戏规则,Blackwell将延续到下一年。正如我之前提到的,从第一原则倒推,请记住计算正在同时经历两个平台的转型。这一点非常非常重要,你要保持头脑清醒,集中注意力,即通用计算正在向加速计算转变,而人类工程软件将向生成式人工智能或人工智能学习软件过渡。
Q6:伯恩斯坦Stacy Rasgon:我有两个简短的问题想问科莱特。第四季度,Blackwell收入有几十亿美元,这是否是新增的?你预计 Hopper 的需求在下半年会增加。这是否意味着在 Blackwell 增加几十亿美元的基础上,Hopper第三季度到第四季度也会得到加强?
第二个问题是毛利率。如果今年的毛利率是75%左右,那么第四季度毛利率就会在71%—72%之间。这是你预期的毛利率退出率吗?随着Blackwell的发展,我们应该如何看待明年毛利率的变化?我的意思是,我希望收益率和库存储备以及其他一切都能提高。
首席财务官、执行副总裁Colette M. Kress:
我们先来回答你关于 Hopper和Blackwell的问题。我们相信,Hopper 将在下半年继续增长。我们为 Hopper 开发了许多新产品,我们相信Hopper的现有产品将在接下来的几个季度(包括第三季度)开始持续增长,这些新产品将进入第四季度。因此,可以说,Hopper 相对于上半年是一个增长的机会。此外,我们还有 Blackwell 项目,Blackwell 项目将于第四季度开始投入运营。所以,我希望这两点对你有所帮助。
第二部分是毛利率,我们提供了第三季度的毛利率指引,我们提供的非美国通用会计准则毛利率约为 75%。我们将处理好正在经历的各种过渡,但我们相信第三季度可以达到75%,预计全年毛利率也将在 70% 左右。我们在第四季度可能会看到一些微小的差异,这同样与我们的转型和新产品推出的不同成本结构有关。
不过,我和你们的人数不一样。我们没有确切的指引,但我相信你的预期比我们低。
Q7:Melius Research分析师Ben Reitzes:我想问一下各地区的情况。在发布的10-Q报告中,美国的业绩连续下滑,而亚洲几个地区则连续大幅增长。
只是想知道那里的动态如何。显然中国的表现非常好,你在发言中提到了这一点。有什么影响?然后,鉴于所有这些有利的收入动态,这是否意味着第四季度公司整体收入的增长率会加快?
首席财务官、执行副总裁Colette M. Kress
请允许我谈谈我们在10-Q报告中的披露情况,这是在不同地区都需要披露的信息。有时,创建正确的披露非常具有挑战性,因为我们必须提出一个关键部分。我们的披露内容包括我们的销售对象和/或具体的发票开具对象,因此你在这里看到的是我们的发票开具对象。但这并不一定是产品的最终去向,也不一定是最终客户。
在我们的产品组合中,大部分产品都在向我们的OEM 或 ODM 以及系统集成商。因此,你所看到的是,在这些产品进入数据中心、进入笔记本电脑和其他产品之前,他们在使用谁来完成全部配置方面,有时会发生迅速的转变。这种转变时有发生,既包括游戏,也包括数据中心,还包括汽车。
回到你的发言,关于毛利率以及Hopper和Blackwell的收入情况,下半年Hopper 将继续增长,我们将在目前的基础上继续增长。
我们现在还无法确定第三季度和第四季度的具体组合。就第四季度而言,我们还无法提供指引。但我们现在确实看到了需求预期,以及第四季度的增长机会。除此之外,我们还有Blackwell架构。
Q8:Cantor Fitzgerald分析师C. J. Muse:你们已经开始了令人瞩目的年度产品节奏,鉴于先进封装世界的复杂性不断提高,你们面临的挑战可能会越来越多。
如果你退一步想,这种背景如何改变你对可能的更大纵向整合、供应链合作关系的想法,然后对你的利润状况产生相应的影响?
总裁兼首席执行官Jensen Huang
我想对你第一个问题的回答是,我们的速度之所以这么快,同时也是因为模型的复杂性在增加,我们希望继续降低成本。
它正在成长,我们希望继续扩大其规模。我们相信,通过继续扩大人工智能模型的规模,我们将达到一个非凡的水平,并开启并实现下一次工业革命。我们坚信这一点。因此,我们将全力以赴,继续扩大规模。
我们有相当独特的能力整合、设计一家人工智能工厂,我们拥有所有的零部件。除非你拥有所有部件,否则不可能每年都设计出新的人工智能工厂。因此,我们明年将出货比公司历史上更多的 CPU、更多的 GPU,当然还有 NVLink 交换机、CX DPU、东西部的 ConnectX、南北部的 BlueField DPU,以及用于超级计算中心的 InfiniBand 和以太网的数据和存储处理。因此,事实上,我们可以构建--我们可以访问所有这些,我们有一个架构堆栈,正如你所知道的,它允许我们在完成后向市场推出新的功能。
否则,就会出现这样的情况:你运送这些部件,你去寻找客户来销售,然后你必须建立 -- 有人必须建立一个人工智能工厂,而人工智能工厂有堆积如山的软件。因此,这与谁来整合无关。我们喜欢这样一个事实,即我们的供应链被瓦解了,我们可以为广达、富士康、惠普、戴尔、联想、超微提供服务。我们过去可以为中兴通讯提供服务。
他们最近被收购了,等等。因此,我们拥有大量的生态系统合作伙伴,技嘉,他们能够采用我们的架构,我们的原始设计制造商和集成商以及集成供应链所需的规模和覆盖范围是巨大的,因为世界是巨大的。因此,这部分工作我们不想做,也不擅长做。但我们知道如何设计人工智能基础设施,提供客户喜欢的方式,并让生态系统将其整合。
Q9:富国银行亚伦-瑞克斯:我想再谈谈Blackwell的产品周期。我们经常被问到的一个问题是,在考虑利用NVLink、GB NVL72以及Blackwell产品周期的上市动态中,你如何看待机架规模系统组合的动态。在我们开始考虑Blackwell周期进展,您如何看待机架规模系统的组合?
总裁兼首席执行官Jensen Huang
Blackwell机架系统的设计和架构是一个机架,但它是以分解的系统组件形式销售的。我们不销售整个机架。
究其原因,是因为每个机架都不尽相同。有些是 OCP 标准,有些不是。有些是企业级的,因此每个人的功率限制都可能有些不同。CDU 的选择、电源汇流排的选择、配置以及与数据中心的集成都不尽相同。因此,我们在设计时,对整个机架进行了架构设计。软件将在整个机架上完美运行。然后我们提供系统组件。
例如,CPU和GPU计算板就会集成到 MGX 中。这是一种模块化系统架构。MGX 完全是独创的。我们的工厂里到处都有 MGX 的 ODM、集成商和 OEM。
因此,几乎的任何配置都可以,只要您希望交付3000磅的机架。它必须在数据中心附近集成和组装,因为它相当重。因此,从我们交付 GPU、CPU、交换机、网卡的那一刻起,供应链上的一切工作都是在靠近 CSP 和数据中心的地方完成的。因此,你可以想象世界上有多少个数据中心,我们与 ODM 合作伙伴一起扩展到了多少个物流中心。
因此,我认为由于我们将其显示为一个机架,而且总是以这种方式呈现和显示,我们可能给客户留下了我们正在进行集成的印象。我们的客户讨厌我们做集成,供应链讨厌我们做集成,他们想做集成。
这就是他们的附加值。如果你愿意的话,还有最后的设计融入。这并不像进入数据中心那么简单,但设计安装确实很复杂。因此,设计、安装、调试、维修和更换,整个周期在世界各地进行。
我们拥有一个庞大的ODM和OEM合作伙伴网络,在这方面做得非常出色。因此,集成并不是我们做机架的原因。这是我们做机架的反面原因,我们不想成为集成商,而是想成为技术提供商。
Jensen Huang闭幕词
谢谢,请允许我再发表几条,我之前发表过的评论。全球的数据中心正在全力以赴,利用加速计算和生成式人工智能实现整个计算堆栈的现代化。对Hopper的需求依然强劲,对Blackwell的期待也令人难以置信。
请允许我重点介绍我们公司的五大亮点。加速计算已达到临界点,CPU 扩展速度放缓。开发人员必须尽可能加速一切。
加速计算始于 CUDA-X 库。新库为英伟达开辟了新市场。我们发布了许多新的库,包括 CUDA-X Accelerated Polars、Pandas 和 Spark,领先的数据科学和数据处理库,用于矢量数据库的 CUVI-S,这在当前是非常热门的。
Ariel和用于5G 无线基站的一整套数据中心,我们现在都可以进入。用于基因测序的 Parabricks 和用于蛋白质结构预测的 AlphaFold2 现在都可以使用 CUDA 加速。我们正处于将价值 1 万亿美元的数据中心从通用计算现代化为加速计算的起步阶段。这是第一点
其次,与 Hopper 相比,Blackwell是一次功能上的飞跃。Blackwell是一个人工智能基础平台,而不仅仅是 GPU。它也是我们 GPU 的名称,但它是一个人工智能基础架构平台。随着我们向合作伙伴和客户展示更多的 Blackwell 和示例系统,Blackwell 的领先程度将变得一目了然。
Blackwell的愿景历时近五年,通过七款独一无二的芯片得以实现:Gray CPU、Blackwell 双 GPU 和 colos 包、用于东西向流量的 ConnectX DPU、用于南北向和存储流量的 BlueField DPU、用于所有 GPU 通信的 NVLink 交换机,以及用于 InfiniBand 和以太网的 Quantum 和 Spectrum-X,可以支持人工智能的海量流量。Blackwell AI 工厂是楼宇规模的计算机。英伟达设计并优化了Blackwell平台,从芯片、系统、网络,甚至结构化电缆、电源和冷却,以及大量软件,实现了端到端的全堆栈,使客户能够快速构建人工智能工厂。
这些都是非常资本密集型的基础设施,客户希望在拿到设备后立即部署,并提供最佳性能和总体拥有成本。与 Hopper 相比,Blackwell 可在电力有限的数据中心内提供三到五倍的人工智能吞吐量。
第三个是 NVLink,这是一个非常大的交易,其改变了全GPU交换游戏规则。Blackwell 系统可将 72 GB200 封装的144 个 GPU 连接到一个 NVLink 域,一个机架的 NVLink 总带宽为每秒259TB。从这个角度来看,这比 Hopper高出约10 倍。每秒 259 TB 的带宽是有道理的,因为你需要在数万亿代币上提升数百万参数模型的训练。因此,自然需要将大量数据从 GPU 转移到 GPU。
在推理方面,NVLink 对于低延迟、高吞吐量的大型语言模型标记生成至关重要。我们现在有三个网络平台:用于 GPU 扩展的 NVLink、用于超级计算和专用 AI 工厂的 Quantum InfiniBand 以及用于以太网 AI 的 Spectrum-X。英伟达的网络足迹比以前大得多,生成式人工智能的发展势头正在加速。
生成式人工智能前沿模型制造商正竞相向下一个人工智能高点扩展,以提高模型的安全性和智商。我们还在不断扩展,以了解从文本、图像和视频到三维物理、化学和生物等更多模式。聊天机器人、编码人工智能和图像生成器发展迅速,但这只是冰山一角。互联网服务正在为大规模推荐器、广告定位和搜索系统部署生成式人工智能。
人工智能初创企业每年消耗数百亿美元的CSP云容量,各国也认识到人工智能的重要性,纷纷投资主权人工智能基础设施。英伟达人工智能(NVIDIA AI)、英伟达全功能(NVIDIA Omniverse)正在开启下一个人工智能时代,即通用机器人时代。现在,企业人工智能浪潮已经开始,我们已经准备好帮助企业实现业务转型。NVIDIA AI 企业平台由 Nemo、NIMs、NIM Agent Blueprints 和 AI Foundry 组成,我们的生态系统合作伙伴、全球领先的 IT 公司利用这些平台帮助企业定制 AI 模型并构建定制的 AI 应用程序。
然后,企业就可以在英伟达AI 企业版的运行时间上进行部署,英伟达AI 企业版每块 GPU 每年的价格为 4500 美元,对于在任何地方部署 AI 来说都是非常超值的。对于英伟达软件来说,随着兼容CUDA的GPU装机量从数百万增长到数千万,TAM的价值也将非常可观。正如科莱特提到的,英伟达软件今年的销售额将达到20亿美元,感谢大家参加今天的会议。