AI技术助力视频转3D,Neuralangelo重塑虚拟世界

发布时间:2024-08-28 12:17:03 浏览量:283次

前段时间的思考,我们马上就看到了新的佐证,一项将视频直接转换3D场景的AI技术应运而生。我们一起来看看这个新颖的技术。

Neuralangelo是一种由英伟达研究开发刚在6月1日发布的新型AI模型,它能够使用神经网络进行3D重建,将2D视频片段转换为详细的3D结构,生成建筑物、雕塑和其他真实物体的逼真虚拟复制品。它采用了即时神经图形基元(instant neural graphics primitives)技术,帮助捕捉更细致的细节。

Neuralangelo使用2D视频从不同角度拍摄的物体或场景,选择几个捕捉不同视点的帧,然后确定每个帧的相机位置。接着,Neuralangelo的AI创建一个粗略的3D场景表示,就像雕刻主体形状。然后模型优化渲染以锐化细节,就像雕刻石头以模仿纹理一样。最终结果是一个可以用于虚拟现实应用、数字孪生或机器人开发的3D物体或大规模场景。

Neuralangelo是一种高保真的3D表面重建框架,它能够使用普及的移动设备从RGB视频捕获中创建具有高度详细的3D几何形状的物体和大规模真实场景的数字孪生。这意味着,开发人员可以将详细的物体导入虚拟环境中,用于视频游戏或工业数字孪生。

创意专业人士可以将这些3D对象导入设计应用程序中,进一步编辑它们以用于艺术、视频游戏开发、机器人和工业数字孪生。Neuralangelo能够将复杂材料的纹理从2D视频转换为3D资产,其高保真度使开发人员和创意专业人士能够快速创建可用的虚拟对象。

总之,Neuralangelo技术为数字发展提供了巨大的潜力,并将在未来几年内对数字孪生产生深远影响。对于创建3D内容以及与3D内容交互的更多可能已经在路上了。

热门课程推荐

热门资讯

请绑定手机号

x

同学您好!

您已成功报名0元试学活动,老师会在第一时间与您取得联系,请保持电话畅通!
确定