火星网校
Stability AI开源上新:3D生成引入视频扩散模型，质量一致性up
发布时间：2024-03-22 15:03:27 浏览量：264次
鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
Stable Diffusion背后公司Stability AI又上新了。
这次带来的是图生3D方面的新进展：
基于Stable Video Diffusion的Stable Video 3D（SV3D），只用一张图片就能生成高质量3D网格。
Stable Video Diffusion（SVD）是Stability AI此前推出的高分辨率视频生成模型。也就是说，此番登场的SV3D首次将视频扩散模型应用到了3D生成领域。
官方表示，基于此，SV3D大大提高了3D生成的质量和视图一致性。
模型权重依然开源，不过仅可用于非商业用途，想要商用的话还得买个Stability AI会员~
话不多说，还是来扒一扒论文细节。
将视频扩散模型用于3D生成
引入潜在视频扩散模型，SV3D的核心目的是利用视频模型的时间一致性来提高3D生成的一致性。
并且视频数据本身也比3D数据更容易获得。
Stability AI这次提供两个版本的SV3D：
- SV3D_u：基于单张图像生成轨道视频。
- SV3D_p：扩展了SV3D_u的功能，可以根据指定的相机路径创建3D模型视频。
研究人员还改进了3D优化技术：采用由粗到细的训练策略，优化NeRF和DMTet网格来生成3D对象。
他们还设计了一种名为掩码得分蒸馏采样（SDS）的特殊损失函数，通过优化在训练数据中不直接可见的区域，来提高生成3D模型的质量和一致性。
同时，SV3D引入了一个基于球面高斯的照明模型，用于分离光照效果和纹理，在保持纹理清晰度的同时有效减少了内置照明问题。
具体到架构方面，SV3D包含以下关键组成部分：
- UNet：SV3D是在SVD的基础上构建的，包含一个多层UNet，其中每一层都有一系列残差块（包括3D卷积层）和两个分别处理空间和时间信息的Transformer模块。
- 条件输入：输入图像通过VAE编码器嵌入到潜在空间中，会和噪声潜在状态合并，一起输入到UNet中；输入图像的CLIP嵌入矩阵则被用作每个Transformer模块交叉注意力层的键值对。
- 相机轨迹编码：SV3D设计了静态和动态两种类型的轨道来研究相机姿态条件的影响。静态轨道中，相机以规律间隔的方位角围绕对象；动态轨道则允许不规则间隔的方位角和不同的仰角。
相机的运动轨迹信息和扩散噪声的时间信息会一起输入到残差模块中，转换为正弦位置嵌入，然后这些嵌入信息会被整合并进行线性变换，加入到噪声时间步长嵌入中。
这样的设计旨在通过精细控制相机轨迹和噪声输入，提升模型处理图像的能力。
此外，SV3D在生成过程中采用CFG（无分类器引导）来控制生成的清晰度，特别是在生成轨道的最后几帧时，采用三角形CFG缩放来避免过度锐化。
研究人员在Objaverse数据集上训练SV3D，图像分辨率为575×576，视场角为33.8度。论文透露，所有三种模型（SV3D_u，SV3D_c，SV3D_p）在4个节点上训练了6天左右，每个节点配备8个80GB的A100 GPU。
实验结果
在新视角合成（NVS）和3D重建方面，SV3D超过了现有其他方法，达到SOTA。
从定性比较的结果来看，SV3D生成的多视角试图，细节更丰富，更接近与原始输入图像。也就是说，SV3D在理解和重构物体的3D结构方面，能够更准确地捕捉到细节，并保持视角变换时的一致性。
这样的成果，引发了不少网友的感慨：
可以想象，在未来6-12个月内，3D生成技术将会被用到游戏和视频项目中。
评论区也总少不了一些大胆的想法……
并且项目开源嘛，已经有第一波小伙伴玩上了，在4090上就能跑起来。
如果你也有第一手实测体会，欢迎在评论区分享~
参考链接：
[1]https://twitter.com/StabilityAI/status/1769817136799855098
[2]https://stability.ai/news/introducing-stable-video-3d
[3]https://sv3d.github.io/index.html
— 完 —
量子位 QbitAI · 头条号
关注我们，第一时间获知前沿科技动态签约
热门课程推荐
热门资讯
-
探讨游戏引擎的文章，介绍了10款游戏引擎及其代表作品，涵盖了RAGE Engine、Naughty Dog Game Engine、The Dead Engine、Cry Engine、Avalanche Engine、Anvil Engine、IW Engine、Frostbite Engine、Creation引擎、Unreal Engine等引擎。借此分析引出了游戏设计领域和数字艺术教育的重要性，欢迎点击咨询报名。
-
2. B站视频剪辑软件「必剪」：免费、炫酷特效，小白必备工具
B站视频剪辑软件「必剪」，完全免费、一键制作炫酷特效，适合新手小白。快来试试！
-
3. 手机游戏如何开发(如何制作传奇手游，都需要准备些什么？)
如何制作传奇手游，都需要准备些什么？提到传奇手游相信大家都不陌生，他是许多80、90后的回忆；从起初的端游到现在的手游，说明时代在进步游戏在更新，更趋于方便化移动化。而如果我们想要制作一款传奇手游的
-
三昧动漫对于著名ARPG游戏《巫师》系列，最近CD Projekt 的高层回应并不会推出《巫师4》。因为《巫师》系列在策划的时候一直定位在“三部曲”的故事框架，所以在游戏的出品上不可能出现《巫师4》
-
深入探讨《梦幻西游》游戏经济系统中的独特之处与风险，探讨系统设计中的应对方法，带你了解游戏背后的经济运行机制。
-
探讨美式RPG与日式RPG之间的区别，从人设、角色塑造、自由度以及游戏系统等方面进行比较，揭示两种类型RPG的特点和优劣。
-
游戏中玩家将面临武侠人生的挣扎抉择,战或降?杀或放?每个抉定都将触发更多爱恨纠葛的精彩奇遇。《天命奇御》具有多线剧情多结局,不限主线发展,高自由...
-
想让你的3D打印模型更坚固？不妨尝试一下Cura参数设置和设计技巧，让你轻松掌握！
-
美漫原著漫画背后丰富的世界观，探究真人版动画制作过程中的3D建模技术。通过真人进行3D建模打造动画人物形象，呈现更加真实和流畅的画面
-
10. 3D动画软件你知道几个?3ds Max、Blender、Maya、Houdini大比拼
当提到3D动画软件或动画工具时,指的是数字内容创建工具。它是用于造型、建模以及绘制3D美术动画的软件程序。但是,在3D动画软件中还包含了其他类型的...
最新文章
