一张图读懂 2023/05/08 20:07

GPT一句话生成3D模型?OpenAI又“放大招” 还直接开源!

输出二维文字、图片和视频似乎已经不能满足GPT时代玩家,AI狂潮之下他们开始向3D世界进发。

近日,领军者OpenAI发布了最新开源项目Shap-E,通过文本就能生成3D模型。

据悉该模型不像传统模型只是产生一个单一的输出表示,Shap-E可生成隐含函数的参数。这些函数能被渲染成纹理网格或神经辐射场(NeRF),从而生成多功能的、现实的3D资产。

具体来说,NeRF可以通过学习2D照片生成3D场景,同时可以兼顾物体表面的颜色和光照,以便可以从任意视角生成高质量的渲染3D模型。

OpenAI给出了几个通过Shap-E生成的实际案例。例如,一架看起来像香蕉的飞机;一只绿色的靴子;一架宇宙飞船;一只企鹅;一碗蔬菜等,都精准、快速地生成了3D模型。不过细节方面还是略显粗糙,有很大的优化空间(如视频所示)。

在场景化落地方面,Shap-E高效生成3D模型的能力在商业应用方面非常广泛,例如,元宇宙、VR/AR、工业设计、影视制作、游戏开发、3D打印、教育等。尤其是在VR/AR领域Shap-E具有颠覆性作用,可以加速3D场景的构建效率(来源:AIGC开放社区)。