火星网校
使用虚幻5与AI技术将文本转化成MV
发布时间：2024-01-05 16:07:35 浏览量：185次
如果只使用文字，就能创作出一部以《阿基拉》为灵感的赛博朋克影片，那会怎么样？对于艺术家团体Sagans来说，这是一个值得开拓的未来。最近，他们使用虚幻引擎的MetaHuman技术，同时配合AI算法，仅凭文本描述就为其首部音乐录影带《Coherence》生成了大部分镜头。
在最终成品所描绘的后现代图景中，一位女性正在新城市中寻找着属于自己的位置，画面采用素描风格，镜头伴随着音乐不断移动，从明亮的樱花树转场至纽约地铁。Sagans的艺术家们共同展示了，AI不一定预示着我们的工作（甚至整个世界）将被它接管的可怕前景。相反，它可能会成为释放我们全新创作潜力的关键。
颠覆音乐行业
根据Sagans的3D专家Aurelien的说法，《Coherence》准确地代表了这个团体所要实现的目标。“我们感觉，音乐行业不愿意冒险，除非存在利益驱动因素。”他解释说，“因此靠谱的内容开始减少，这正是促使我们创办Sagans的最初原因。”
Sagans团体由音乐家、美术设计师和研究人员组成，他们在制作第一部音乐录影带之前，并不需要等待歌曲创作完成。这为团队提供了更多的时间和自由，探索如何通过人工智能和实时图形等技术实现愿景。
“虚幻引擎5是我们最先决定采用的技术，”Aurelien继续说，“我们首先通过Quixel资产库创建了整个世界，紧接着，我们采用MetaHuman Creator创造了逼真的角色。这为我们改变了一切。突然间，我们就可以在短时间内制作出漂亮的东西了。我们知道，我们已经准备就绪，可以开始制作《Coherence》了。”
添加AI
起初，团队决定使用大友克洋的经典动画《阿基拉》的风格，为视频的审美奠定基础。下一步就创造视频中的女主角。“在使用虚幻引擎工作之前，我们对3D世界不是很熟悉，”Aurelien说，“乍看之下，创造角色似乎是一项非常复杂的任务。幸运的是，MetaHuman Creator让事情变简单了。”
为了创造让观众感觉亲切的角色，团队混合了MetaHuman数据库中三张面孔的元素，找到了自己喜欢的结果。接下来，他们使用iOS的Live Link Face应用，为角色制作了面部表情动画。与此同时，Sagans的艺术家们还开始使用Quixel构建视频的虚幻引擎环境，从日本风格的英国街道，到纽约的地铁，应有尽有。
“创建环境时，Lumen发挥了至关重要的作用，”Aurelien解释说，“有了它，我们能够在不使用大量硬件资源的前提下实时处理光照。再配合使用Niagara创造雨水等粒子，在短短几秒钟内，我们就可以生成与用户界面中完全一致的渲染。”
最后一步是根据场景的需要，通过三套独立的AI算法生成虚幻引擎输出，营造最终的大友克洋风格。第一套算法允许Sagans的艺术家使用文本描述场景风格，然后以视频形式将其表现出来。第二套算法会使用参考图像制作动画视频，而最后一套算法可将实景真人电影转变成风格化的动画影片。
“在大多数镜头中，我们都用到了文本转视频算法。”Aurelien补充说，“为此，我们使用Disco Diffusion 5帮助生成单独的帧，然后通过算法将这些帧转变成视频。我们必须确保文本内容非常详细，不仅能描述出风格，还要填补所有纰漏：如果没有提到天空，机器可能会忘记城市顶部必须有一片天空。在得到不错的第一帧画面之后，我们还要根据运镜的需要，提供足够的描述，生成接下来的帧，然后在第20帧处最后一次检查渲染。”
使用虚幻引擎的成果
由于使用了独特的实时3D和AI工作流程，从第一个镜头到《Coherence》的最终渲染，整个过程只花了三位Sagans创作者八周时间。“我们想要一种既简单易用又足够快速的解决方案，帮助我们迅速实现愿景，虚幻引擎没有让我们失望。”Aurelien补充说，“只需几次点击，我们就可以轻松创建极其精细的角色和城市环境，在没有动作捕捉服的情况下为女主角制作动画。”
现在，《Coherence》已创作完成，团队计划在未来的音乐录影带项目中继续使用虚幻引擎和AI。“第一次发布内容通常会让人伤脑筋，但《Coherence》取得了出色的反响，”Aurelien总结说，“我们希望人们明白，人工智能的出现是为了协助和激励我们，而不是抢走我们的工作，这个录影带正是我们实现这个目标的第一步。”
本文转自虚幻引擎官网~
热门课程推荐
热门资讯
-
探讨游戏引擎的文章，介绍了10款游戏引擎及其代表作品，涵盖了RAGE Engine、Naughty Dog Game Engine、The Dead Engine、Cry Engine、Avalanche Engine、Anvil Engine、IW Engine、Frostbite Engine、Creation引擎、Unreal Engine等引擎。借此分析引出了游戏设计领域和数字艺术教育的重要性，欢迎点击咨询报名。
-
2. 手机游戏如何开发(如何制作传奇手游，都需要准备些什么？)
如何制作传奇手游，都需要准备些什么？提到传奇手游相信大家都不陌生，他是许多80、90后的回忆；从起初的端游到现在的手游，说明时代在进步游戏在更新，更趋于方便化移动化。而如果我们想要制作一款传奇手游的
-
3. B站视频剪辑软件「必剪」：免费、炫酷特效，小白必备工具
B站视频剪辑软件「必剪」，完全免费、一键制作炫酷特效，适合新手小白。快来试试！
-
游戏中玩家将面临武侠人生的挣扎抉择,战或降?杀或放?每个抉定都将触发更多爱恨纠葛的精彩奇遇。《天命奇御》具有多线剧情多结局,不限主线发展,高自由...
-
5. Bigtime加密游戏经济体系揭秘，不同玩家角色的经济活动
Bigtime加密游戏经济模型分析，探讨游戏经济特点，帮助玩家更全面了解这款GameFi产品。
-
6. 3D动画软件你知道几个?3ds Max、Blender、Maya、Houdini大比拼
当提到3D动画软件或动画工具时,指的是数字内容创建工具。它是用于造型、建模以及绘制3D美术动画的软件程序。但是,在3D动画软件中还包含了其他类型的...
-
7. 3D动漫建模全过程，不是一般人能学的会的，会的多不是人?
步骤01:面部,颈部,身体在一起这次我不准备设计图片,我从雕刻进入。这一次,它将是一种纯粹关注建模而非整体绘画的形式。像往常一样,我从Sphere创建它...
-
8. 如何自己开发一款游戏(游戏开发入门必看：五大独立游戏开发技巧)
游戏开发入门必看：五大独立游戏开发技巧无论您是刚刚起步开发自己的第一款游戏，还是已经制作了几款游戏，本篇文章中的5大独立游戏开发技巧都可以帮助您更好地设计下一款游戏。无论你对游戏有着什么样的概念，都
-
三昧动漫对于著名ARPG游戏《巫师》系列，最近CD Projekt 的高层回应并不会推出《巫师4》。因为《巫师》系列在策划的时候一直定位在“三部曲”的故事框架，所以在游戏的出品上不可能出现《巫师4》
-
想让你的3D打印模型更坚固？不妨尝试一下Cura参数设置和设计技巧，让你轻松掌握！
