火星网校
首个利用人工智能生成游戏画面的革命性演示
发布时间：2024-06-16 13:11:54 浏览量：218次
如果只是作为驾驶模拟器，可能很平庸，但对电子游戏画面来说，这可能是一场伟大的革命。
图|真实视频(左)和AI生成的渲染视频(右)之间的对比。(图源：英伟达)
最近人工智能的繁荣给图像和视频生成领域带来了一系列令人印象深刻的成果。最新成果来自芯片制造商英伟达，该公司12月3日发布了一份研究报告，展示了AI生成的画面如何与传统的视频游戏引擎相结合。这种混合图形系统有望应用到视频游戏，电影和虚拟现实等方面。
英伟达的生成的图片并没有达到真实照片级的画面，他们展示了在 AI 生成的图像中发现的一些水印状的模糊。并且这一工作也不是完全创新的。在一篇研究论文中，该公司的工程师解释了他们如何基于一些现有方法，包括一个有影响力的开源系统pix2pix。此外英伟达的工作中还应用到了生成对抗网络(GAN)。这些方法已经广泛用于AI图像生成。
但是英伟达还是在新产品中引入很多创新，这是一个简单的驾驶模拟器，玩家可以在AI生成的几个城市街区中穿行，但不能离开他们的汽车，也不能以其他方式与世界互动。而且这一演示仅使用一个GPU即可实现，对于这样的前沿工作来说，这是一个显著的成就。
英伟达的系统利用如下几个步骤生成图形画面：首先，研究人员必须收集训练数据，一般这些数据来自于自动驾驶研究的开源数据集。然后将这些视频数据中的每一个镜头做分割，即每一帧画面被分成不同类别的区域：如天空，汽车，树木，道路，建筑物等。然后，用这些分割的数据训练生成对抗网络，用来生成这些对象的新画面。
接下来，工程师们使用传统的游戏引擎创建了虚拟环境的基本拓扑结构。在该游戏演示中，使用的系统是虚幻引擎 4，这是一种流行的引擎，被用于诸如堡垒之夜，绝地求生，战争机器4等多种游戏中。工程师们使用此引擎作为框架，然后利用深度学习算法实时生成每个类别的图形画面，并将它们显示到游戏引擎的模型上。
为了创建这个系统，英伟达的工程师克服了许多挑战，其中最大的挑战是对象持久性。也就是说，如果深度学习算法以每秒 25 帧的速率为这一虚拟世界生成图形，它们如何保持每一区域的对象看起来大致相同？解决的方案就是给系统一个短期记忆，让系统生成的每个新帧的时候与之前的帧进行比较。这些计算都很昂贵，因此游戏只能以每秒25帧的速度运行。
不过，人工智能生成的画面工作在机器人和自动驾驶汽车等研究领域有潜在的应用前景，可以用来生成虚拟训练环境。消费者可以使用智能手机自己捕捉素材，然后将这些数据上传到云端，算法将通过学习将其插入到各种游戏中。
然而，这种技术带来了一些明显的问题。近年来，专家担心有些人会使用AI生成的足以乱真的假情报进行虚假宣传。但英伟达表示，这并不是一个新问题。他们正在与合作伙伴研究检测AI赝品的方法，解决这个“信任问题”。
Catanzaro笑着说，对于计算机图形学的人工智能革命是否会有利于英伟达公司的收入，至少不会带来伤害。“任何能够提高生成更逼真和更具吸引力的图形的能力，都会对英伟达有利。”
图|不同AI模型生成的画面对比。左上是经语义分割的图像;右上是pix2pixHD生成的画面;左下是 COVST 生成的画面;右下是英伟达的系统生成的画面。(图源：英伟达)
想了解更多关于AI生成图形和视频的革命性技术？欢迎点击咨询。
火星时代教育专注数字艺术教育30年，开设课程有游戏设计培训、游戏程序培训、动画培训、原画培训、AI绘画培训、AI音乐创作培训、影视后期培训、短视频制作、室内设计培训、UI设计培训、插画培训等。
热门课程推荐
热门资讯
-
1. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
4. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
8. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
9. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
10. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
最新文章
