首页 热点 业界 科技快讯 数码 电子消费 通信 前沿动态 电商

热点!英伟达虚拟AI再现“名场面”,“卷”进元宇宙了!

2022-06-23 05:53:46 来源 : 与非网

爵士乐的精髓在于即兴演奏,英伟达正在通过AI研究向这一流派致敬。也许有一天,图形创作者可以使用快速创建出的 3D 物体,来一场即兴表演。

本周在新奥尔良举行的计算机视觉和模式识别会议CVPR上,英伟达的可逆渲染流程NVIDIA 3D MoMa惊艳亮相。通过NVIDIA 3D MoMa渲染流水线,结合GPU加速,可以使用现代AI机器和GPU的原始算力快速生成3D物体,创作者可以在现有工具中自由地导入、编辑和扩展这些物体。


(资料图片仅供参考)

为了展示NVIDIA 3D MoMa的功能,英伟达的研究和创意团队从不同角度收集了约100张小号、长号、萨克斯、架子鼓和单簧管这五种爵士乐器的图片。

他们首先将2D图像重建为3D,并以网格形式呈现。然后将这些乐器从原始场景中取出,导入NVIDIA Omniverse 3D模拟平台进行编辑。

在任何传统图形引擎中,创作者都可以轻松为形状调换由NVIDIA 3D MoMa生成的材质,就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法,将原来的塑料材质快速更换成黄金、大理石、木材或软木。

然后,创作者可以将新编辑的物体放入任何虚拟场景中。英伟达团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样:闪亮的铜管乐器反射出亮光,哑光的鼓皮则会吸收光线。

这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素。在爵士乐及其发源地新奥尔良,英伟达运用这些技术展示了AI和艺术的完美融合。

如何基于2D图像创建3D物体?

逆渲染是将静态照片重建为3D物体或场景模型的技术,也一直是统一计算机视觉和计算机图形学的关键。通过NVIDIA 3D MoMa渲染流水线,可以将逆渲染问题的每个部分表示为GPU加速的可微分组件,然后使用现代AI机器和英伟达GPU的原始算力快速生成3D物体,创作者可以在现有工具中自由地导入、编辑和扩展这些物体。

为了使艺术家或工程师能够充分利用 3D物体,其形式应能够导入游戏引擎、3D建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式,就是此类3D工具使用的通用语言。

三角网格是用于定义3D图形和建模形状的基本框架

其实这也不是英伟达第一次实现这样的突破。在去年的CVPR 大会上,英伟达就针对当前人们云视频会议中的痛点演示了2D转3D的“神技”。

可能你也有过这样的尴尬时刻,视频会议马上开始,但是自己头发凌乱、还穿着睡衣,不敢以真面目示人……英伟达开发了一系列用于视频会议的深度学习模型,可以借助生成式对抗网络 ( GAN ) ,仅用一张人物2D图像即可合成逼真的人脸说话视频。也就是说,只需要上传一张正装工作照,你就可以不洗脸不洗头,但是同事看到的你却是得体的工作形象。可以说真的是懒人刚需了。

下图中,有一个人就是躲在视频背后的那个“懒人”,你能分辨出来吗?

英伟达去年还发布了迁移学习工具包(TLT)3.0,包括各种高精度和高性能计算机视觉和对话式AI预训练模型,以及一套强大的生产级功能,可将AI开发能力提升10倍。

此外还有Omniverse这款专注于实时仿真、数字协作的云平台,拥有高度逼真的物理模拟引擎以及高性能渲染能力。通过Omniverse,工程师和软件程序员可以模拟出新的软件,然后逐步应用到实际中。

写在最后

动态场景处理是计算机视觉当前的重要研究方向。不论是虚拟爵士乐演奏,还是其他任意2D转3D的动态呈现,背后都离不开英伟达强大的GPU算力、专注于实时仿真、数字协作的Omniverse云平台、还有海量的模型构建、丰富的SDK工具包等支撑。

这场“卷到”元宇宙里的演奏会,相信只是小试牛刀。毕竟在英伟达通过AI系统所创建的数字孪生虚拟世界构想中,构建出一个数字孪生的地球也是有可能的,希望这些蓝图的实现,能够真正解决许多需要通过大规模虚拟才能解决的“疑难杂症”。

标签: 虚拟世界 Omniverse

相关文章

最近更新