本文作者:卜淑情
来源:硬AI
对于未来AI的发展方向,英伟达CEO黄仁勋又有了新的判断。他在稍早前举办的英伟达日本峰会上提到了两个AI趋势:
AI的可扩展性和多模态能力。这意味着AI能够处理和理解多种类型的数据,如文本、语音、图像和视频,并将这些数据类型相互关联,从而在多种应用场景中发挥作用。
AI应用的“寒武纪大爆发”。AI应用的爆炸性增长,将创造许多新的行业和公司。黄仁勋将这一时期比作“寒武纪大爆发”,一个生物多样性急剧增加的地质时期。
他强调,尽管芯片是AI系统的核心组件之一,但AI的真正价值和潜力在于整个系统的综合能力和广泛的应用前景。
黄仁勋认为,未来有两种类型的AI会非常受欢迎:数字AI工作者(AI代理)和物理AI(机器人技术)。数字AI工作者能执行多种任务,如营销、客户支持等,像数字员工一样运作。物理AI则体现在机械系统中,如自动驾驶汽车和工业机器人,它们能在现实世界中执行复杂任务。
黄仁勋将英伟达视为一家模拟技术公司,专注于模拟物理学、虚拟世界和智能,通过模拟帮助预测未来,更像是在造时间机器。他说,英伟达未来布局聚焦于AI技术和生态系统合作,通过加速计算和GPU强化CPU,同时提供丰富的软件和库支持AI发展。
他还说,一个新的行业——人工智能制造——正在诞生,届时每家公司都将成为AI制造商。
黄仁勋演讲亮点:
- 本质上,英伟达是一家模拟技术公司。我们模拟物理、虚拟世界和智能。通过我们的模拟技术,我们帮助您预测未来。因此,在许多方面,英伟达就像制造了时间机器。
- 英伟达发明了加速计算,但并没有取代CPU。事实上,我们几乎是计算机领域唯一一家不想取代CPU的公司。我们的目标是通过将计算密集型的工作负载转移到GPU上,从而释放CPU的能力。
在过去的十年里,我们让人工智能和机器学习的规模提高了 100 万倍。通过把机器学习的规模提升100万倍,我们实现了一个巨大的突破,也正是这个突破,催生了如今的 ChatGPT——人工智能的到来。
- 软件1.0 就是编写在 CPU 上运行的代码。现在我们进入了软件2.0时代,因为计算机速度已经非常快,你可以给它提供大量的样本数据,让它自己学习并预测函数。我们称之为软件 2.0。
- 现在的软件不再是手写的代码,而是在GPU上运行的神经网络。这些在GPU上运行的神经网络正在形成一种新的操作系统,一种新的使用计算机的方式,也就是现代计算机的操作系统,特别是大型语言模型。
- 这种机器学习方法已被证明具有令人难以置信的可扩展性。你可以用它做各种各样的事情,包括数字化文本、声音、语音、图像和视频。它可以是多模态的。你可以教它氨基酸序列,教它理解任何有大量观察数据的内容。现在AI应用正在以寒武纪时代的速度爆炸式增长,而我们才刚刚开始。
- AI不单单是芯片的问题。(GPU)系统不能单独工作。即使是世界上最先进的计算机也无法单独为人工智能工作。有时它必须与成千上万的其他计算机一起工作,像这样的节点一起作为一台计算机。有时他们必须分开工作,因为他们正在响应不同的客户、不同的查询,有时是单独的,有时是作为一个整体。
- 我认为有两种类型的人工智能会非常受欢迎。一个是数字化的,我们称之为AI代理,你可以在办公室里使用它们与你的员工合作。第二个是物理AI系统机器人。这些物理AI将是公司构建的产品。因此,公司将使用AI来提高员工的生产力,我们将使用AI来推动和授权我们销售的产品。车企未来会有两个工厂,一个工厂造汽车,一个工厂生产汽车里运行的AI。
- 现在我们有了一个以前从未存在过的新行业(人工智能制造)——人工智能位于计算机行业的顶端,但它被每个行业利用和创造。每个行业、每个公司、每个国家都必须生产自己的AI,这是一场新的工业革命。
- 为了实现机器人技术,我们需要建造三台计算机。第一台计算机训练AI,就像我们之前给你们举的所有例子一样。第一台是模拟AI。你需要给AI一个练习的地方,一个学习的地方,一个撤退的地方,接收它可以学习的合成数据。Omniverse平台,它使您能够创建AI。最终你想要的是AI。最终,你所期望的 AI,将会看到一个世界,它能识别视频、周围的环境以及你的需求,并生成相应的动作。
黄仁勋演讲全文(AI翻译)如下:
欢迎来到英伟达AI峰会。你刚才看到的一切都是模拟的。没有动画。
本质上,英伟达是一家模拟技术公司。我们模拟物理、虚拟世界和智能。通过我们的模拟技术,我们帮助您预测未来。因此,在许多方面,英伟达就像制造了时间机器。
今天,我们将与您分享我们的一些最新突破。但最重要的是,这是一个关于日本生态系统的活动。我们在这里有很多合作伙伴,包括350家初创公司、250,000名开发者和数百家公司。我们来这里已经很久了。
自公司成立以来,日本市场对我们非常重要。在日本,我们有许多“第一次”尝试。第一个与我们合作的游戏开发者是世嘉的铃木裕,他是一位著名的3D游戏开发者,首先与我们合作将世嘉令人惊叹的3D游戏移植到英伟达的图形处理器上。东京工业大学首次使用英伟达CUDA构建超级计算机Subamer 1.2,使我们能够利用我们的图形处理器推动科学计算。日本在许多方面都是第一。这也是我们首次能够创建移动处理器,这催生了我们非常重要的项目之一——任天堂Switch。如此多的“第一次”。
现在我们正处于一个新时代的开始,AI革命,一个新的行业,非凡的技术变革。这是一个非常令人兴奋的时刻,但也非常关键。因此,我们在这里与日本生态系统的优秀公司合作,将AI引入日本,以便我们能够充分利用眼前这个非凡的机会。
今天我们在这里有许多合作伙伴,我要感谢GMO互联网集团、惠普、微软Azure、三井集团等白金赞助商。我想感谢你们所有人。
还有其他56个赞助商。感谢大家的到来,感谢大家的支持。英伟达发明了加速计算,但并没有取代CPU。事实上,我们几乎是计算机领域唯一一家不想取代CPU的公司。我们的目标是通过将计算密集型的工作负载转移到GPU上,从而释放CPU的能力。
这是GPU,这是CPU。通过结合这两者,我们可以利用这两种处理器的最佳功能:CPU非常擅长顺序处理,而图形处理器则非常擅长并行处理。我稍后会详细讨论这个,但这就是加速计算,不仅仅是并行计算,而是CPU和GPU的协同工作。
这种计算模型对世界来说是全新的。事实上,CPU自1964年开始就已经存在了,也就是我出生的第二年,至今已有60年。我们今天在计算机上看到的绝大多数运行在CPU上的软件。但现在有一个新的变化,计算模型正在发生根本性变化。然而,为了实现这一点,你不能仅仅将顺序运行的CPU软件放到GPU上并行运行。我们必须创建一大堆新的算法,就像OpenGL使计算机图形应用程序能够通过图形处理器连接到加速一样,我们必须为许多不同的应用程序创建许多特定领域的库。这些是我们公司拥有的350个不同库中的一些,非常重要的库。
Kulethos是一个用来加速计算光刻的工具,这是芯片制造过程中的一个步骤。计算光刻是一个复杂的过程,通常需要数周时间来计算许多层的图案。但使用Kulethos后,这个时间可以缩短到几个小时。
当然,我们能够缩短芯片制造的周期,但同样重要的是,我们能够让光刻技术的算法变得更加复杂,这意味着我们可以推动半导体技术达到更高的精度,比如2纳米、1纳米甚至更小的尺度。因此,计算光刻的过程将通过Kulethos和Spark Solver的DSSAI Ariel技术得到加速。我今天将会详细讨论这个话题。
这个新开发的库非常了不起,它使计算机能够运行5G无线电的技术栈。简单来说,就是可以在Nvidia的CUDA加速器上实时操作一个无线电。此外,CUDA也被用于量子模拟,比如模拟量子电路。还有用于基因测序的配对技术,以及KUV技术,这是一种用于存储向量数据的技术,也用于索引和查询向量数据库,这些数据库在人工智能领域特别有用。
NumPy是一个用于数值计算的库。它是世界上最流行的数值处理库之一,大约有五百万不同的开发者在使用。这个库非常受欢迎,仅在上个月就达到了3000万次的下载量,这是一个惊人的数字。现在,NumPy已经完全支持在多个GPU和多个计算节点上进行加速计算,这使得它在处理大规模数据时更加强大。建议你去了解一下这个库,它的强大功能确实令人难以置信。
QDF是一个用于处理数据帧和结构化数据的库,它支持像SQL、Pandas、Polars等数据处理技术,以及解决复杂的旅行商问题(TSP,一种组合优化问题)。这个库极大地加速了这些问题的解决,速度提升了数百倍。
接下来提到的是KUDNN,这是我们创建的最重要的库之一,全称是深度神经网络的qdnn。这个库负责处理深度学习模型中不同层次的数据。通过创建qdnn并推动深度学习的普及和加速,在过去的十年里,我们让人工智能和机器学习的规模提高了 100 万倍。通过把机器学习的规模提升100万倍,我们实现了一个巨大的突破,也正是这个突破,催生了如今的 ChatGPT——人工智能的到来。简而言之,KUDNN库对于推动人工智能的发展起到了关键作用。
Qdnn做了一些特别的事情,它改变了我们编写和使用软件的方式。软件 1.0 就是编写在 CPU 上运行的代码。现在我们进入了软件2.0时代,因为计算机速度已经非常快,你可以给它提供大量的样本数据,让它自己学习并预测函数。我们称之为软件 2.0。这样它就能自我学习并预测函数是什么,这就是机器学习。
所以,现在的软件不再是手写的代码,而是在GPU上运行的神经网络。这些在GPU上运行的神经网络正在形成一种新的操作系统,一种新的使用计算机的方式,也就是现代计算机的操作系统,特别是大型语言模型。
这种机器学习方法已被证明具有令人难以置信的可扩展性。你可以用它做各种各样的事情,包括数字化文本、声音、语音、图像和视频。它可以是多模态的。你可以教它氨基酸序列,教它理解任何有大量观察数据的内容。
理解数据含义的第一步是,通过研究互联网上的大量文本,我们能够理解单词、词汇、语法,甚至通过找到模式和关系来理解单词的含义。使用相同的方法,我们现在不仅能够理解连接到不同模态的不同数据类型的含义,例如,单词和图像之间的关系(例如,单词“cat”的图像和猫的图像现在连接在一起)。通过学习多模态,我们现在甚至可以翻译和生成各种智能信息。
如果你观察所有那些令人惊叹的新兴公司和他们创造的应用程序,你会发现它们可以被归为两种类型,这些类型在一张幻灯片上从一侧到另一侧展示。第一种是文本到文本的应用,包括文本的总结、问答系统、文本生成和讲故事。第二种是视频到文本的应用,比如为视频生成字幕。还有图像到文本的应用,比如图像识别,以及文本到图像的应用,比如图像生成,例如Mid Journey这样的服务。还有文本到视频的创作,比如Runway ML这样的平台。
所有这些不同的组合都是真正的突破。你甚至可以用蛋白质发短信,解释蛋白质的作用,给化学物质发短信,描述一种可能成为成功药物的化学物质的特性。对于药物发现,您甚至可以拥有视频和文本到机器人的应用。这些组合中的每一个都是一个新的行业、新的公司、新的应用程序用例。现在AI应用正在以寒武纪时代的速度爆炸式增长,而我们才刚刚开始。
当然,机器学习的一个特性是,大脑越大,我们能教给它的数据越多,它就变得越聪明。我们称之为比例定律。有充分的证据表明,随着我们扩大模型的规模,训练数据的数量、有效性、质量和智力的表现每年都在提高。该行业正在将模型的大小扩大2倍左右,相应地需要2倍的数据。因此我们需要四倍的计算量。将人工智能推向下一个水平所需的计算资源量是非凡的。我们称之为缩放律,训练缩放律。预培训是其中的一部分,后培训包括强化学习、人类反馈、强化学习、AI反馈。现在有很多不同的方法在后期训练阶段使用合成数据生成。因此,培训、预培训和后培训正在享受非常显著的扩展,我们继续看到出色的结果。
好吧,当草莓或开放AIS01,1被宣布时,向世界展示了一种新型的推理是当你与AI互动时,就像ChatGPT一样。但ChatGPT是一次性的。你问一个问题,你让它为你做点什么。无论你有什么问题,无论你通过一次拍摄提供了什么提示,它都能给出答案。然而,我们知道思考往往不仅仅是一次性的。思考需要我们做多重计划,多个潜在的答案,从中选择最好的一个。就像我们思考时一样,我们可能会在给出答案之前反思答案。反思,我们可能会把一个问题分解成一步步的思维链。我们发明了许多不同的技术,随着我们应用越来越多的计算,推理的表现越来越好。
现在我们有了第二个缩放定律,推理缩放定律,不仅仅是生成下一个单词,思考,反思,规划。这两个同时存在的比例定律将要求我们驱动计算超快的速度。每次我们交付新一代、新架构时,我们都会将性能提高X倍,但我们也会将功率降低相同的X倍。我们将成本降低相同的X因子。因此,提高性能与降低成本完全相同。提高性能与降低能量完全相同。因此,随着世界继续吸收和拥抱人工智能,我们的使命是,我们有责任尽可能快地不断提高性能。在此过程中,扩大人工智能的覆盖范围,提高其有效性,降低成本,降低功耗。这就是我们选择一年周期的原因。
不过,AI不单单是芯片的问题。这些AI系统是巨大的。这是Blackwell系统,Blackwell一款GPU的名称,但它也是整个系统的名称。GPU本身就是非凡的。有两种Blackwell芯片。每个Blackwell芯片都是世界上最大的芯片,拥有1040亿个晶体管,由台积电在最先进的4纳米节点制造。这两个Blackwell芯片通过每秒10TB的低能链路连接在一起。就在中间,那条线,那条缝,两种芯片之间的数千个相互连接,每秒10TB。它由八个HBM3E存储器连接,这些存储器加在一起每秒运行8TB。这两个GPU连接到另一个低能耗、非常节能的城市的CPU,每秒1TB。每个GPU都通过MVLink以每秒1.8TB的速度连接。那是每秒很多TB。原因是这个系统不能单独工作。即使是世界上最先进的计算机也无法单独为人工智能工作。有时它必须与成千上万的其他计算机一起工作,像这样的节点一起作为一台计算机。有时他们必须分开工作,因为他们正在响应不同的客户、不同的查询,有时是单独的,有时是作为一个整体。
为了使MV和GPU能够一体工作,我们当然有网络2 CX Sevens将这个GPU与数千个其他GPU连接起来。但是我们仍然需要这个MV链接,让我们能够将几个GPU连接到我身后的一个机架上。一个机架连接到这个MV每秒5.8 TB。带宽是世界上最高的带宽网络的35倍,这使我们能够将所有这些GPU连接到这个MV链路交换机上。
一个机架中有九个MV链接交换机。每个机架有72台这样的电脑。通过这个脊柱连接它。这是MV链接脊柱。这是电缆,铜,50磅的铜直接由这个令人难以置信的谷神星驱动,我们称之为MV链接。它们以这种方式连接到计算机MV链接,这个开关将所有这些计算机连接在一起。因此,结果是72台这些计算机连接为一个大型GPU,一个非常大的GPU。从软件的角度来看,它只是一艘巨轮。这些架子,这些MB连接72个系统,这个架子重3000磅。不可能登上这个舞台。否则,我给你看,是3000磅120千瓦。
那就是,我有我的朋友在这里,那是许多Nintendo Switch的力量。它不便携,但非常强大。这就是黑墙系统。我们设计它,使它可以像这样配置为一个Superpod,或者一个巨大的数据中心,有成千上万个,希望有成千上万个,它们通过交换机连接到它们。其中一些是量子无限带交换机。如果您想拥有专用的AI工厂或Spectrum X,英伟达 Spectrum X革命性的以太网系统,您可以将其集成到现有的以太网环境中。我们可以用这些建造AI超级计算机。我们可以将它们集成到企业数据中心、超大规模服务器或为边缘配置它们。
Blackwall系统不仅功能强大,而且适应性极强,可以适应世界计算基础设施的每个角落。
当然,计算机,但最重要的是,如果没有运行在其上的所有软件,这台计算机就根本无法操作。当你看到这些电脑,所有的液体冷却,所有的电线,你的大脑会爆炸。你如何编写这样一台令人难以置信的计算机?这就是英伟达软件堆栈的地方,这就是我们在Cuda Nickel的所有努力,我们所有的Megatron核心,我们创建的所有软件,Tensor,RTLM,Triton,我们多年来创建的所有软件集成到系统中,使每个人都有可能在世界各地部署AI超级计算机。当然,最重要的是,我们有AI软件,可以让人们轻松构建AI。那么什么是AI?
我们用很多不同的方式谈论AI,但我认为有两种类型的人工智能会非常受欢迎。我认为有两个模型非常有帮助。
这对我很有帮助。第一,数字AI工作者。这些AI工人可以理解,他们可以计划,他们可以采取行动。有时,数字AI工作者被要求执行营销活动,支持客户,制定制造供应链计划,优化芯片,帮助我们编写软件,也许是研究助理,药物发现行业的实验室助理。也许这个代理人,你知道,是CEO的导师。也许我们所有的员工都有一个导师,AI,这些数字AI工作者,我们称之为AI代理人,本质上就像数字员工。就像数字员工一样,你必须培训他们,你必须创建数据来欢迎他们加入你的公司,教他们了解你的公司。你训练他们的特定技能,取决于你希望他们具备的功能。你在完成培训后评估他们,以确保他们学到了应该学的东西。你保护他们,确保他们完成他们被要求做的工作,而不是他们没有被要求做的工作。当然,你操作它们。你部署他们,从Blackwell向他们提供能量,从Blackwell向他们提供AI令牌,他们与其他代理互动,作为一个团队解决问题。
你会看到各种各样的代理,我们创造了一些东西,让生态系统更容易为公司建立AI代理。英伟达不从事服务业务,我们不创造,不提供最终产品,也不提供解决方案。但我们确实提供了支持技术,使生态系统能够创造AI,提供AI,不断改进AI。AIAgent生命周期库,生命周期平台称为Nemo。Nemo有我提到的每个阶段的库,从数据管理到训练到微调到合成数据生成到评估再到防护栏杆。在那里,这些库被集成到世界各地的工作流程和框架中。
我们正在与AI初创企业、埃森哲和德勤等服务提供商以及世界各地的公司合作,将这一点带给所有大公司。我们还与Service Now等Isv合作,以便他们可以创建使用Service Now的代理。今天,您通过许可平台使用服务,您的员工与服务平台交互以获得帮助。在未来。服务现在还将提供大量你可以租用的AI代理,本质上是你可以租用的数字员工来帮你解决问题。我们现在正在使用服务。我们正在与SAP、Cadence、ANSYS、世界各地的公司、世界各地的雪花公司合作,这样我们都可以构建有助于您提高公司生产力的代理。
现在这些代理人能够理解原因,计划,采取行动。这些代理人,我们的AI模型的集合或系统,不仅仅是一个AI模型,而是一个AI模型的系统。尼莫帮助我们建造这些。我们还创建了预训练的AI模型,我们将其打包在所谓的Nim中。所以这些NIM是微服务。它们基本上是AI旧时代打包的,软件打包在一个盒子里,它们带有CDROM。今天,AI被打包在一个微服务中,软件内部是智能的。您可以与软件交谈,您可以与软件交谈,因为它理解您的意思,并且您可以将软件与其他软件连接起来。您可以将此AI与其他AI连接在一起,您可以创建一个代理,一个AI代理。所以这是第一件事。
让我给你举一个这些代理的例子。代理AI正在使用复杂的推理和迭代规划来解决复杂的多步骤问题,从而改变每个企业。AI代理通过即时洞察帮助营销活动更快地上线,帮助优化供应链运营,节省数亿美元的成本,并通过帮助分析师对漏洞进行分类,将软件安全流程从几天缩短到几秒钟。使AI如此强大的是它将数据转化为知识,将知识转化为行动的能力。本例中的数字代理可以通过一组信息密集的研究论文向个人提供见解。它是使用英伟达AI蓝图构建的。这些参考工作流包含英伟达加速库、SDK和Nim微服务,可帮助您快速构建和部署AI应用。多模态PDF数据提取蓝图有助于建立数据摄取管道,而数字人蓝图提供流畅的类人交互。嗨,我是James,一个数字代理摄取PDF研究论文,包括图像、图表和表格等复杂数据,并通过交互式数字人机界面生成高级摘要。
天气预报取得了令人兴奋的突破。新生成模型cordiff的开发是准确预测天气模式的重要一步。通过将单位回归模型与扩散模型相结合,凝聚法院。
James还可以根据论文回答问题或生成新内容。英伟达AI使企业能够自动化流程、利用实时洞察力并提高工作流程效率。
AI代理商,3部分,尼茂名称和蓝图。这些都是参考资料。它们以源代码形式提供给您,以便您可以随心所欲地使用它并构建您的AI代理劳动力。这些特工没有一个能100%完成任何人的任务,任何人的工作。没有一个代理可以做到100%。但是,所有代理都可以为您的50%工作做工作。这是伟大的成就。而不是想着AI代替50%人的工作。你应该认为AI会为100%的人做50%的工作。通过这样想,你意识到AI将有助于提高公司的生产力,提高你的生产力。你知道,人们问我,你知道,AI会接受你的工作吗?我总是说,因为这是真的,AI不会接受你的工作。别人用的AI会抢走你的工作。所以一定要尽快使用AI激活。第一个是数字AI代理,数字,这些是数字人工智能。第二个应用是物理AI。同样的基本技术现在被体现在一个机械系统中。
当然,机器人技术将成为世界上最重要的行业之一。到目前为止,机器人技术一直受到限制,原因很清楚。事实上,在日本,世界上50%的制造机器人是制造的。川崎、发尼克、安川、三菱,四家制造了世界一半机器人系统的领导者。就像机器人一样,推动了制造业的生产力,并且很难扩展。机器人行业长期以来基本持平,原因是因为它过于具体,不够灵活,无法适用于不同的场景、不同的条件和不同的工作。我们需要更灵活的AI,它可以自己适应和学习。
请注意我们到目前为止描述的技术,代理AI,无论你是谁,你都应该能够与代理进行交互。它可以给你回应。当然,有时反应不如你所能产生的反应好,但事实上,许多反应甚至比我们所能产生的还要好。因此,我们现在可以将这种通用AI技术应用到具身AI或物理AI或被称为机器人的世界中。
为了实现机器人技术,我们需要建造三台计算机。第一台计算机训练AI,就像我们之前给你们举的所有例子一样。第一台是模拟AI。你需要给AI一个练习的地方,一个学习的地方,一个撤退的地方,接收它可以学习的合成数据。我们称之为omniverse是我们的虚拟世界数字孪生库套件,可用于创建物理AIS机器人。全能宇宙。然后经过验证、训练、评估,然后您可以将模型放入物理机器人中。在其中,我们有专为机器人技术设计的处理器。我们叫它Jetson。Thor是专为人类机器人设计的机器人处理器。
为了实现机器人技术,我们需要建造三台计算机。第一台计算机训练AI,就像我们之前给你们举的所有例子一样。第一台是模拟AI。你需要给AI一个练习的地方,一个学习的地方,一个撤退的地方,接收它可以学习的合成数据。
这个循环一直持续下去。正如有一个NemoAI代理生命周期平台一样,Omniverse平台,它使您能够创建AI。最终你想要的是AI。最终,你所期望的 AI,将会看到一个世界,它能识别视频、周围的环境以及你的需求,并生成相应的动作。你告诉它你想要什么,这个AI会产生关节运动。就像我们获取文本一样,我们可以生成视频,我们可以获取文本并生成化学物质。对于药物,我们可以获取文本并生成关节运动。好的,这个概念非常类似于生成AI。这就是为什么我们认为现在我们在Omniverse和我们建造的所有计算机之间拥有必要的技术,这三台计算机,以及最新的生成AI技术,人类或机器人技术的时代已经到来。
现在为什么类人机器人技术如此困难?好吧,显然,为人类机器人开发的软件非常努力。然而,好处是不可思议的。只有两个机器人系统可以轻松部署到世界上。第一个机器人是自动驾驶汽车,原因是我们创造了适应汽车的世界。第二个是人类或机器人。这两个机器人系统可以部署在世界任何地方的棕色田野中,因为我们为我们创造了世界。这是一项非常困难的技术,时机已经成熟,但影响可能是巨大的。
上周在机器人学习会议上,我们宣布了一个非常重要的新框架。它被称为艾萨克实验室,是一个强化学习的虚拟模拟系统,允许你教人类或机器人如何成为人类或机器人。最重要的是,我们创建了几个工作流程。第一个工作流程是Groot Mimic Group。
Mimic是一个框架,用于向机器人演示如何执行任务。您使用人类演示,然后使用域随机化模拟该环境,生成数百个其他示例,例如您的演示,以便机器人可以学习泛化。否则,它只能使用mimic执行非常特定的任务,我们可以泛化它的学习。
第二个是分组Gen组建。使用Omniverse中的生成AI技术,我们可以创建大量的I随机域环境和我们希望机器人执行的动作的随机示例。所以我们正在生成一大堆测试、评估系统、评估场景,机器人可以尝试执行和改进自己,学习如何成为一个好的机器人。
第三个是群体控制,是一个模型蒸馏框架,它允许我们将我们学到的所有技能提炼成一个统一的模型,允许机器人执行运动学技能。机器人不仅将是自主的,而且请记住,未来的工厂也将是机器人的。因此,这些工厂将成为机器人工厂,它们正在编排机器人,构建机器人机械系统。让我给你看。当然。
物理AI体现了机器人,如安全导航现实世界的自动驾驶汽车、执行复杂工业任务的机械手和与US协同工作的人形机器人。工厂将由物理AI体现,能够监控和调整其操作或与我们交谈。英伟达制造了三台计算机,使开发人员能够创建物理AI。模型首先在DGX上进行训练,然后使用强化学习和Omniverse中的物理反馈对AI进行微调和测试。训练有素的AI在英伟达杰森AGX机器人计算机上运行。英伟达 Omniverse是一个基于物理的操作系统,用于物理AI模拟。机器人在艾萨克实验室学习和微调他们的技能。
基于Omniverse构建的机器人健身房,具有Group Gym等小组工作流程,可生成多样化的学习环境和布局。Group Mimic基于少量真实世界捕获和神经全身控制的组控制生成大规模合成运动数据集。这只是一个机器人。
未来的工厂将协调机器人团队,并通过数千个传感器监控整个操作。对于工厂数字双胞胎,他们使用名为Mega的全能蓝图。有了Mega,工厂的数字孪生体中充满了虚拟机器人,它们的AI模拟了机器人的大脑。机器人通过感知环境、推理、规划下一个动作并最终将其转换为动作来执行任务。Omniverse中的World Simulator在环境中模拟这些动作,机器人大脑通过Omniverse传感器模拟感知结果。根据传感器模拟,机器人大脑决定下一步行动,循环继续,而Mega精确跟踪工厂中所有东西的状态和位置。
数字孪生。这种软件在环测试将软件定义的流程带到物理空间和实施例中,让工业企业在部署到物理世界之前模拟和验证全方位数字孪生的变化,从而节省了巨大的风险和成本。物理AI时代已经到来,改变着世界的重工业和机器人技术。
难以置信的时代。所以我们有两个机器人系统,一个是数字化的,我们称之为AI代理,你可以在办公室里使用它们与你的员工合作。第二个是物理AI系统机器人。这些物理AI将是公司构建的产品。因此,公司将使用AI来提高员工的生产力,我们将使用AI来推动和授权我们销售的产品。车企未来会有两个工厂,一个工厂造汽车,一个工厂生产汽车里运行的AI。
好吧,这就是机器人革命。世界各地都有如此多的活动。我无法想象还有哪个国家比日本更能引领机器人AI革命。原因是,如你所知,这个国家喜欢机器人。你喜欢机器人。你创造了一些世界上最好的机器人。这些是我们一起长大的机器人。这些是我们一生都喜欢的机器人。我甚至没有展示我最喜欢的一些。Majin Gazi, 我希望日本能够利用人工智能的最新突破,并将其与您的专业知识和大型电子学相结合。世界上没有哪个国家比日本拥有比超级电子一体化更高的技能。这是什么,这是一个你必须抓住的非凡机会。所以我希望我们能共同努力,让这个梦想成为可能。
英伟达在日本的AI做得非常好。我们这里有很多合作伙伴。我们有正在构建大型语言模型的合作伙伴。东京科学技术研究所,乐天。自助银行,直觉,NTT,富士通NEC,名古屋大学,Kota Bar Technologies。如果你去右上角,我们还有AI云,还有软银、樱花互联网、转基因互联网集团。嗨,Rezzo KDDI Rutilia,在这里建造AI云,让生态系统在日本蓬勃发展。
因此,许多机器人公司开始了解AI现在提供的利用这一机会的能力。安川、丰田、川崎、Repute、Reputa、医学成像系统、佳能、富士胶片、奥林巴斯,都在利用AI。因为在未来,这些医疗器械将更加自主。这几乎就像是医疗器械内部的护士AI,帮助护士指导诊断。药物发现行业有这么多不同的方式,AI有这么多不同的方式被使用。
所以我对这里的进步感到高兴,我们希望更快地利用AI革命。嗯,这个行业正在发生变化,正如我之前所说,计算机行业已经从运行在CPU上的编码根本性地转变为现在运行在GPU上的机器学习。我们从一个生产软件的行业,现在已经成为一个制造人工智能的行业。人工智能是在工厂生产的。他们正在运行247。当您许可软件时,您将其安装到您的计算机中。该软件的制造、分发已完成。然而,智能永远不完整。你正在与所有的人工智能互动,不管它们是AI代理还是AI机器人。
Token,智能以Token表示,Token是智能的单位。这是一个数字。这些数字被构成,这些符号以智能和语言的方式构成。智能和方向盘、自动驾驶汽车的智能、用于表达人类机器人的智能电机、蛋白质和化学物质的智能以及药物发现。
所有这些Token都是在这些工厂生产的。这些基础设施,这些工厂以前从未存在过。这是一个全新的事物,这就是为什么我们在世界各地看到如此多的发展。我们第一次有了一个新的行业,一个新的工厂,生产我们称之为人工智能的全新事物。这些工厂将由公司建造。它们将被建造,每个公司都将成为AI制造商。当然,任何公司都不能不制造、生产人工智能。任何公司怎么能负担得起不生产智能产品呢?一个国家怎么能不生产情报呢?你不必生产芯片。你不必生产软件,但你必须生产智能。这是至关重要的。这是你的核心。这是我们的核心。
所以我们有了新工业AI工厂,这就是我称之为新工业革命的原因。上一次发生这种情况是300年前,当时电力被发现,电力的产生和分配,一种新型工厂被创造出来。那个新工厂不是发电厂。然后一个新的行业被创造出来,叫做能源。几百年前,还没有能源工业。它发生在工业革命期间。现在我们有了一个以前从未存在过的新行业——人工智能位于计算机行业的顶端,但它被每个行业利用和创造。你必须创建自己的AI。制药业创造了你自己的AI。汽车行业创造你自己的AI。机器人行业创造你自己的AI。每个行业、每个公司、每个国家都必须生产自己的AI,这是一场新的工业革命。
我今天有一个非常重要的宣布。我们宣布,我们将与软银合作,为日本带来、建设和AI基础设施。我们将一起建造日本最大的AI工厂,英伟达,它将由英伟达DGX建造。当它建成时,它将有25AIx的翻牌。请记住,最近世界上最大的超级计算机是1倍的翻牌。这是一个AI工厂生产AI的25倍翻牌。但是为了分发AI,软银将整合英伟达的阿里尔,这是我之前提到的在Cuda运行5G无线电的引擎。通过这样做,我们可以统一和组合无线电计算机、基带和5G运行的AI计算机。我们现在可以将电信网络发展和改造成AIRAM。它将能够承载语音、数据、视频,但在未来,我们还将承载AI,一种新型的信息智能。这将分布在软银在日本的20万个站点,为5500万客户提供服务。AI工厂和区生产AIAI分销网络分销AI跑分销AI。我们还将在其上建立一种新型商店,一种AI商店。以便软银创建的人工智能和第三方创建的AIS可以提供给5500万客户。
因此,我们将在英伟达AI企业之上构建这些应用程序,我之前提到过,向您展示过。还会有一家新店,让每个人都能AI。这只是一个宏伟的发展。结果将是一个横跨日本的AI电网。
现在这个AI电网将成为基础设施的一部分,也是最重要的基础设施之一。记住,你需要工厂和道路作为基础设施的一部分,这样你才能制造和分销商品。基础设施需要能源和通信部分。每次你为基础设施创造了一些全新的东西,新的产业和新的公司就会被创造出来,新的经济机会,新的繁荣。如果没有道路和工厂,我们怎么会有工业革命?如果没有能源和通信,我们怎么会有IT革命?这些新基础设施中的每一个都开辟了新的机会。
因此,与软银合作在日本实现这一目标对我来说非常令人兴奋。米娅·卡瓦桑的团队,他们应该在观众席上。与您合作是不可思议的,我们非常高兴能够这样做。这完全是革命性的。这是第一次将电信网络、通信网络转变为AI网络。
好的,让我向你展示你能做什么。你可以做一些惊人的事情。例如,我站在一个基站下面,一个无线电塔,汽车有视频,汽车的视频被流式传输到无线电塔,无线电塔有AI。这个无线电塔有视频智能。它具有视觉智能。所以它能看到汽车看到的东西,也能理解汽车看到的东西。那个AI模型可能放在车里很重,但放在基站里不会太重。使用该流到基站的视频,它可以理解汽车和周围发生的任何事情。好的,这只是在边缘使用AI来保护人们安全的一个例子,也许这就是空中交通管制,本质上是为了自动驾驶汽车。应用是无穷无尽的。
我们也可以用这个基本概念把整个工厂变成AI。这边是一个工厂,有很多摄像头。摄像机被流式传输到基站。令人惊奇的是,由于AI中所有的相机和AI模型,现在这家工厂成了AI。你可以和工厂谈谈,问问工厂发生了什么。问工厂,有没有发生事故?有什么异常发生吗?今天有人受伤吗?给你一份每日报告。你只需要问工厂,因为工厂现在已经变成了一个AI。AI模型不必在工厂运行。这种AI模式可以在软银广播中运行。
好的,这是另一个例子。但是无数的例子,你基本上可以把每一个物理对象变成AI,体育场、道路、工厂、仓库、办公室、建筑......它们都可以变成AI,你可以和它说话,就像你可以和GPT聊天一样。好的,这是通道的状况,有任何阻塞或溢出吗?你只是在和工厂说话。工厂观察一切,理解它所看到的,它可以推理,它可以计划行动,或者只是和你说话。这里说,不,仓库的过道没有任何障碍物、溢出物或危险。视频中的过道条件看起来井然有序、干净,没有障碍物或危险。
好的,你正在和工厂交谈。太不可思议了。你在和仓库说话,你在和汽车说话,因为所有这些现在都变得智能了。
本文来自微信公众号“硬AI”,关注更多AI前沿资讯请移步这里