火星网校
AI与3D携手创作：打造专属游戏场景的新趋势
发布时间：2024-08-19 11:29:11 浏览量：244次
机器之心报道
编辑：泽南、小舟
英伟达进入AI生成模型领域的研究，直接比别人多一个次元：一句描述生成3D模型。
我们生活在三维的世界里，尽管目前大多数应用程序是2D的，但人们一直对3D数字内容有很高的需求，包括游戏、娱乐、建筑和机器人模拟等应用。
然而，创建专业的3D内容需要很高的艺术与审美素养和大量3D建模专业知识。人工完成这项工作需要花费大量时间和精力来培养这些技能。
需求大又是「劳动密集型行业」，那么有没有可能交给AI来做？上周五，英伟达提交到预印版论文平台arXiv的论文引起了人们的关注。
和现在流行的NovelAI差不多，人们只需要输入一段文字比如「一只坐在睡莲上的蓝色箭毒蛙」，AI就能给你生成个纹理造型俱全的3D模型出来。
Magic3D还可以执行基于提示的3D网格编辑：给定低分辨率3D模型和基本提示，可以更改文本从而修改生成的模型内容。此外，作者还展示了保持画风，以及将2D图像样式应用于3D模型的能力。
Stable Diffusion的论文在2024年首次提交，几个月就已经进化到这样的程度，不禁让人感叹科技发展的速度。
英伟达表示，你只需要在这个基础上稍作修改，生成的模型就可以当做游戏或CGI艺术场景的素材了。
3D生成模型的方向并不神秘，其实在2024年谷歌曾经发布过一款文本到3D的生成模型DreamFusion，英伟达在Magic3D的研究中直接对标该方法。
类似于DreamFusion用文本生成2D图像，再将其优化为体积NeRF（神经辐射场）数据的流程，Magic3D使用两阶段生成法，用低分辨率生成的粗略模型再优化到更高的分辨率。
英伟达的方法首先使用低分辨率扩散先验获得粗糙模型，并使用稀疏3D哈希网格结构进行加速。用粗略表示作为初始，再进一步优化了带纹理的3D网格模型，该模型具有与高分辨率潜在扩散模型交互的高效可微分渲染器。
Magic3D可以在40分钟内创建高质量的3D网格模型，比DreamFusion快2倍（后者平均需要1.5小时），同时还实现了更高的分辨率。统计表明相比DreamFusion，61.7%的人更喜欢英伟达的新方法。
连同图像调节生成功能，新技术为各种创意应用开辟了新途径。
论文链接：点击咨询
技术细节
Magic3D可以在较短的计算时间内根据文本prompt合成高度详细的3D模型。Magic3D通过改进DreamFusion中的几个主要设计选择来使用文本prompt合成高质量的3D内容。
具体来说，Magic3D是一种从粗到精的优化方法，其中使用不同分辨率下的多个扩散先验来优化3D表征，从而生成视图一致的几何形状以及高分辨率细节。Magic3D使用监督方法合成8倍高分辨率的3D内容，速度也比DreamFusion快2倍。
Magic3D的整个工作流程分为两个阶段：在第一阶段，该研究优化了类似于DreamFusion的粗略神经场表征，以实现具有基于哈希网格的内存和计算的高效场景表征。
在第二阶段该方法切换到优化网格表征。这个步骤很关键，它允许该方法在高达512×512的分辨率下利用扩散先验。由于3D网格适用于快速图形渲染，可以实时渲染高分辨率图像，因此该研究利用基于光栅化的高效微分渲染器和相机特写来恢复几何纹理中的高频细节。
基于上述两个阶段，该方法可以生成高保真的3D内容，并且很容易在标准图形软件中导入和可视化。
此外，该研究展示了用文本prompt对3D合成过程的创造性控制能力，如下图1所示。
为了对比实际应用效果，英伟达的研究人员把Magic3D和DreamFusion在397个文本提示生成的内容上进行了比较。平均的粗略模型生成阶段花费15分钟，精细阶段训练了25分钟，所有运行时间均在8块英伟达A100 GPU上测得。
虽然论文和demo只是第一步，但英伟达已经为Magic3D想好了未来的应用方向：给游戏和元宇宙世界提供制作海量3D模型的工具，而且让所有人都可以上手使用。
当然，最早上线这项功能的可能会是英伟达自己的Omniverse。
参考内容：点击咨询
火星时代教育一直致力于数字艺术教育，提供游戏设计培训、动画培训、原画培训、AI绘画培训等课程。想要了解更多信息，欢迎点击咨询。
热门课程推荐
热门资讯
-
1. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
4. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
7. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
9. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
10. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
最新文章
