昨天深夜,英伟达CEO黄仁勋甩出能训万亿参数大模型的新核弹B200,直接打破了摩尔定律。
同时推出的AI推理微服务NIM,号称能让全世界用上AI。
与此同时,英伟达又为1亿RTX PC用户和开发者,更新了AI应用和工具,直接要让我们快进到AI PC时代:
-
一台笔记本,Instant ID 15秒就能做出一张影楼级质量的肖像照;
-
一张RTX 4090D,Stable Diffusion更是达到了8张图/秒的生成速度;
-
Sora大火之余,英伟达已经在和剪映,共同探索生成式AI在视频制作上的落地;
-
国产游戏之光《黑神话:悟空》,在全景光追和DLSS 3.5的加持下,画面已经得到了史诗级提升。
准备好,一场RTX AI PC的革命之火,已经被引爆。
RTX AI PC革命来袭!
早在2018年,英伟达就已经在探索AI PC的雏形了。
当时,随着RTX技术和首款专为AI打造的消费级GPU(GeForce RTX)的推出,英伟达加速了向AI计算的转变。
在RTX GPU上,这些专用的AI加速器,也就是我们熟知的Tensor Core。
即使运行要求极为严苛的工作和娱乐应用,它都能显著加速AI性能,还能让PC用户用上在云端才能运行的新功能。
从软硬件到生态加速,英伟达正凭借实力,有力地证明了这一点:RTX就是AI PC的核心。
硬件方面,新一代GeForce RTX GPU提供的算力,不仅从200 AI TOPS到1300 AI TOPS全覆盖,还提供了笔记本、台式电脑的多样选择。(TOPS即teraops,万亿次运算/秒)
相较之下,没有独立GPU的AI PC,算力仅为10到45 TOPS。
软件层面,从2018年到现在,全球搭载英伟达RTX GPU的PC已经有超1亿的用户。
如今,它所加持的领域,已经覆盖了AI绘画、平面设计、视频编辑/体验、3D创作,到AI游戏、游戏开发,再到AI应用开发、文档助手等等。
地表最快Stable Diffusion
有了RTX AI,创作者可以专注于创意本身,无需在等待系统加载,乏味的重复性工作上浪费时间。
只用一张RTX 4090D,Stable Diffusion就能在每秒内生成8张图片,迅速让创意成为现实。
NVIDIA TensorRT的引入,彻底改变了游戏规则。
通过8位量化成为当前SD最快的加速方法,最快可达120 imgs/s。(StreamDiffusion)
开启TRT之后,1分钟的视频生成比以往快了足足30秒,效率提升了40%。
以及当前已经支持支持SD 1.5 & 2.1、SDXL、SDXL Turbo、LCM以及Stable Video Diffusion等模型的加速。
另外,CUDA还提供了对LoRA、ControlNet、微调、AnimateDiff、InstantID等模型支持
图像编辑
想要一张质量不错的肖像照,但只能用电脑摄像头拍一张很糊的照片,怎么办?
答案非常简单:只需上网找一张自己想要的「模板」,再用Instant ID把它和自己的人脸融合在一起,就能得到一张质量不错的照片了,甚至在影楼还不一定拍出这样的效果。
而这一整套工作流,在一台RTX 4090笔记本上就能完成。
这,就是真正的生产力,真正面向专业用户的AI PC应用。
另外,修图师还可以通过Photoshop快速实现对图片各种细节的处理和编辑。
视频制作
视频剪辑工作者可以更轻松使用AI加持在深度图生成、表面追踪、风格转换等工作流中的高级效果。
就拿转描(突出显示图中某个元素)来说,如果要靠人工完成,就需要逐帧选出下图中的「头戴式耳机」,这无疑会消耗大量时间。
借助AI,只需选择耳机就可以创建蒙版,再让AI具体裁剪出确切的形状,并且可以跨越不同帧进行追踪。
与30系相比,RTX 40系显卡,直接将这一性能提升了70%。
另外,RTX 40系拥有第八代NVENC AV1编码器,满足了不同工作者对导出视频格式的需求。
英伟达还在和国内深受用户喜爱的剪辑软件剪映专业版,共同探索推进生成式AI在PC端的落地。
目前,已通过TensorRT推动剪映AI艺术字功能上线,并正在通过RTX AI平台加速生成式AI在剪映产品功能中的应用。
AI 3D创作
3D创作者通过UE等AI工具,加速3D创作渲染。
生成式3D材质,也可以用RTX AI来加速。
视频会议/直播
在视频会议/直播中,RTX AI还能做到多项流媒体质量的优化。
比如,这个全新上线的目光接触功能,可以轻松矫正人物的眼神方向。
别看现在镜头里的人正在看脚本,目光接触功能一开,他的目光就会立马看向镜头了!
此外,还有虚拟背景、虚光滤镜、噪音消除等多项功能。
游戏开发
毋庸置疑,RTX AI更是强化游戏体验的利器。
游戏开发者们可以利用生成式AI创建自己的游戏MOD、重制游戏助手、自动捕获游戏场景。
可以在NVIDIA Ominiverse中,通过生成式AI重制物体材质。
AI增强的光追技术,能够让游戏环境更加真实。
更重要的是,开发者们可以为游戏制作支持实时光追、DLSS 3/DLSS 3.5的RTX重制版。
这不,一些玩家、开发者、创意者们,已经开始用上RTX AI了。
DLSS 3.5:游戏体验史诗级提升
刚刚开幕的英伟达游戏开发者大会,简直让玩家们激动到把拳头捏爆。
包括多款 RTX 游戏的最新消息:《黑神话:悟空》,《永劫无间》,《星球大战™:亡命之徒》,《暗黑破坏神IV》,光听名字,就让人想起立致敬。
特别值得一提的是:在今年的GDC上,英伟达宣布,支持DLSS 3.5的游戏阵营进一步扩大!
国产游戏之光、质量和流量的扛鼎之作——《黑神话:悟空》,就将支持全景光线追踪和DLSS 3.5。
虽然还未正式推出,但这两年江湖上一直有它的传说,众多玩家都在翘首以盼。
果然,玩家们果然没有白等——在光追和DLSS 3.5的加持之下,无论是场景,光影,还是画面细节,体验都全部刷新!
如今,《黑神话:悟空》的B站预告片观看数已破228万,网友纷纷追问:这真是实机画面,不是渲染的?
想象一下这个画面:打开搭载 GeForce RTX 显卡的PC,开启支持光线重建技术的NVIDIA DLSS 3.5 和全景光线追踪,接下来,就是一场视觉盛宴。
为什么通过DLSS 3.5呈现的画面如此激动人心?
原因在于,它包含了英伟达全新的DLSS光线重建技术(Ray Reconstruction),利用全新统一的AI模型,取代了多个人工设计的光线追踪降噪器。
因此,光线追踪效果和全景光线追踪的图像质量,再次得到了史诗级提升。
而在《黑神话:悟空》中开启全景光追后,我们就可以更加沉浸式地体验史诗级的游戏场景。
可以看到,水面上可以反射出周围所有场景的细节。
水的散焦效果,进一步增加了场景的真实感,光的折射和反射效果,都被渲染得更好。
全景光追的全局光照,也让室内外的光照效果更加完美,即使是因被遮挡而无法照亮的较暗区域,也会通过反射光被照亮。
在光照系统的配合之下,无论是接触处的硬化阴影,还是光追带来的柔化阴影,都可以轻松投射到各处。
小到叶片和卵石上每一处最小的阴影,大到主角、巨大的怪兽、拥有精致外表的建筑,全部被细致入微地刻画了出来。
下面是一波高清大图,请欣赏:
此外,率先将支持DLSS 3.5的,还有在国内外游戏社区中人气超高的国产多人动作竞技端游《永劫无间》。
《永劫无间》会在PVP和PVE模式下的三个地图中,添加全景光线追踪,之后也将在更多地图中陆续支持全景光线追踪。
更丰富细致的全景光线追踪效果,可以让全局光照、反射、环境光遮蔽和阴影得到全面优化,而DLSS 3.5的光线重建技术,会让这些效果进一步增强。
具体来说,DLSS 3.5通过将人工降噪器替换为英伟达超级计算机训练的AI网络(在采样光线之间生成更高质量的像素),提升了GeForce RTX GPU光线追踪图像的质量。
同时,DLSS 3.5 AI网络的训练数据量也是DLSS 3的5倍,可识别不同的光线追踪效果,从而可使用时间和空间数据做出更明智的决策,并保留高频信息以实现更高质量的图像效果。
此外,光线重建还会从训练数据中识别光照模式,例如全局光照或环境光遮蔽等,并在游戏中重新创建。其最终效果比需要人工设计的降噪器更出色。
而DLSS 3.5除了能够让新游戏带来更好的性能表现和画面效果外,还能让用新技术复刻的老游戏重新焕发光彩。
《传送门》RTX版是首款采用NVIDIA RTX Remix打造的游戏,这是一种变革性的Mod工具,可帮助Mod玩家升级和重制经典游戏。
现在,《传送门》RTX版也将支持NVIDIA DLSS 3.5,利用AI驱动的光线重建(Ray Reconstruction)技术,提高全景光线追踪的保真度和全局动态照明效果的响应速度。
在DLSS 3.5加持之下,GeForce RTX 4090的帧率可提升至原来的6.2倍,GeForce RTX 4080 SUPER的帧率可提升至原来的6.7倍,游戏速度分别能达到100 FPS和70 FPS。
除了这些新鲜出炉的游戏大作之外,目前已有超500款游戏和应用支持NVIDIA RTX技术,未来还会有更多大作加入。
比如《星球大战™:亡命之徒》:
《暗黑破坏神IV》:已经支持DLSS 3,将于3月26日支持光线追踪。
ACE:AI NPC「活了」
除此之外,英伟达还利用「世界级数字人技术」让那些游戏NPC们活了!
同时,还为商业应用创建了栩栩如生的数字化身。
其中就包括,用于语音和动画的NVIDIA ACE、用于语言功能的NeMo,以及RTX渲染技术。
这些技术都将成为开发者创建,AI驱动的自然语言交互的数字人的基石。
去年GTC大会上,老黄发布会上直接与游戏NPC实时对话,网友表示这简直颠覆了整个游戏行业。
这一次,英伟达直接带来了更多行业里的应用。
在GDC 2024上,英伟达与InWorld联手呈现了全新的技术Demo——Covert Protocol。
有了Covert Protocol,每个玩家的体验都是独一无二的。
因为NPC可以在游戏世界中感知周围世界,做出决策和行动,突破了游戏中角色互动的局限。
这里,你扮演的是一名私家侦探,将根据与场景中人物的对话结果完成目标。
它们可以学习和适应,表现也会存在细微差别,有时还会自主发起行动。
针对同一场景,NPC有着丰富的语言表达能力。
具体来说,InWorld引擎集成了NVIDIA Riva自动语音识别技术,可实现精确的语音转换文字。
同时NVIDIA Audio2Face提供逼真的面部表情,增强了动画效果。
而在InWorld端,开发人员可以针对每个特定的NPC调整各种参数:个性、知识和认知、目标、场景、安全性、长期记忆。
InWorld引擎可以让游戏开发人员,添加更多响应玩家的行为「多模态AI智能体叙事」。
它将认知、感知和行为系统集成在一起,在精心制作的环境中呈现令人惊叹的RTX渲染角色,以实现身临其境的叙事效果。
另一家游戏巨头育碧也开始利用Inworld和NVIDIA ACE技术,来探索数字人在游戏中可能性。
最具代表性的项目是NEO NPC——让游戏NPC可以自由即兴对话。
Inworld的角色引擎和LLM技术,使育碧的叙事团队能为每个NPC建立完整的背景、知识库和对话风格,而NVIDIA ACE技术套件中的NVIDIA Audio2Face则用于实现实时面部动画。
育碧通过三个独立技术Demo展示了NEO NPC的功能。
每个场景都侧重于NPC行为、环境和上下文意识的不同方面;一系列实时反应和动画;以及连续对话、协作和战略决策。
这些实验发现突破了游戏设计和沉浸感的界限。
NVIDIA App:一个应用搞定一切
为了让玩家拥有更加流畅无缝的使用体验,英伟达还推出了全新的NVIDIA app——它最大的亮点是:无需登录即可更新驱动。
它还彻底解决了之前GeForce Experience使用体验卡顿,在后台资源占用过大的问题。响应速度提升50%,磁盘占用减少17%。
而且无论是游戏发烧友还是内容创作者,NVIDIA app都能让用户更轻松及时地更新到最新的驱动,让用户快速找到和安装NVIDIA Broadcast和NVIDIA Omniverse等最新应用。
GPU「大一统」控制中心:最优游戏设置 + 驱动配置。
全新升级的驱动面板:快速查看概要,获取最新驱动信息。
全新的游戏覆盖界面:实时统计数据显示,支持120 FPS ShadowPlay录制。
NVIDIA app还重新设计了游戏中的浮窗,玩家依然可以方便地使用「Alt+Z」快速调出Shadowplay录制工具、Freestyle 游戏滤镜、NVIDIA Highlights、照片模式和性能监控工具。
全新的AI图像滤镜:支持RTX HDR和RTX数字自然饱和度。
而RTX HDR是一款新的AI增强Freestyle滤镜,可以将高动态范围 (HDR) 的艳丽视觉效果无缝引入到原本不支持HDR的游戏中。
借助RTX HDR滤镜,现在玩家可以利用兼容HDR的显示器畅玩DX12、DX11、DX9和Vulkan平台上运行的大量游戏。
NVIDIA app还能让用户方便探索英伟达的各类前沿应用:包括NVIDIA ICAT、NVIDIA Omniverse等。
ChatRTX:专属大模型,本地就能跑,还免费开源
想要运行Chat with RTX的要求也非常简单,用户在搭载 NVIDIA GeForce RTX 30 系列或更高版本的 GPU(至少 8GB 显存)进行本地部署,打造个人专属聊天机器人。
RTX AI工具:全面加持开发者
对于RTX PC和工作站用户来说,借助英伟达定制的TensorRT-LLM for Windows,可以让模型的推理性能最高提升5倍之多。
这些大语言模型的版本将能够在任何配有8GB及以上显存的GeForce RTX 30系和40系GPU上运行。
这意味着即便是最轻便的Windows设备,也能快速、准确地实现本地大语言模型处理能力。
除了成本居高不下外,定制和维护生成式AI项目也需要大量的时间和精力,尤其是在尝试跨多个环境和平台进行协作和部署时。
针对这一问题,英伟达提出了一站式解决方案——AI Workbench。
基于此,开发者可以轻松地在PC或工作站上快速创建、测试和定制预训练的生成式AI模型和大语言模型。
本文来源:新智元,原文标题:《英伟达引爆AI PC革命,RTX给1亿打工人送算力!40系卡秒生百张图,「黑神话:悟空」画质爆表玩家颤抖》