火星网校
AI进军动漫界~你只需要说一段话，就能生成小动画
发布时间：2024-04-12 12:43:05 浏览量：216次
岳排槐 发自 凹非寺
量子位 出品 | 公众号 QbitAI
《摩登原始人》你看过么？
这是一道暴露年龄题。
安妮薇，《摩登原始人》是一部首播于1960年的喜剧动画片。第一季在豆瓣上被2.2万用户打出8.7分的评价。
现在，这部想象力爆棚的动画片，被用来训练出了一个想象力惊人的AI。有多惊人？看过的人都说鹅妹子嘤~
只需要给一段脚本，或者说文本描述，AI就能脑补生成一段动漫小片。注意！这些动漫小片，都是你没有看过的全新版本。
生成的方法，就是AI根据描述，从原始动画片中找到对应的元素，提取出来。然后再调整大小、比例、位置、角度、道具、前景、背景等，重新拼接在一起~
来，直接看展示。
交代一下，Fred、Wilma等都是这部动漫的主人公名字。
脚本：
Fred戴着一顶红帽子，正走在客厅里。
这是AI生成的视频：
脚本：
Betty和Wilma在客厅里聊天。她俩坐在沙发上，你一言我一语。
视频：
脚本：
Fred开车途中，一边想一边自言自语。
视频：
脚本：
Betty在厨房里打电话。
视频：
怎么样？是不是很厉害？
下面这段视频，有更多的集中展示。
数据集和模型
AI是怎么做到的呢？简单来说，首先得构建一个《摩登原始人》的数据集，这个数据集包括25000个动画片小段（75帧，约三秒）。
每一小段都经过了密集的标注。
标注信息包括，场景、主要角色的名称：Fred、Wilma等。对于不常出现的配角，会有人工添加简单的注释：警察、穿红衣的老头等。
然后，还要借助SLIC算法(Simple Linear Iterative Clustering) 、GrabCut自动图像分割算法、PatchMatch算法等对画面进行分割和重建。
经过这一系列的处理，就构成了AI可以利用的原始素材。
当然重中之重，就是AI模型的构建。
这个模型被称为Craft（Composition, Retrieval and Fusion Network）。从结构上来说，这个模型长这样：
主要包括三个部分：Layout Composer（布局编排器）、Entity Retriever（实体检索器）、Background Retriever（背景检索器）。
在“脑补”动漫小片时，Craft从空视频开始，根据脚本描述，依次添加场景中的实体。实体和背景检索器，会从数据集中搜索合适的素材，而布局编排器会对位置和比例进行调整。
最终上述种种融合，生成一段全新的小片。
上面这张图，就是布局编排器的工作原理。
当然这中间还涉及很多数学公式啊，实验啊什么的。如果你对这些细节感兴趣，可以直接前往论文查看。
地址：
https://arxiv.org/abs/1804.03608
这个研究，出自AI2、UIUC等机构的几名学者之手。
还不完美
当然，当然，现阶段，这个研究远非无懈可击。
比方，画面的重建还相对粗糙，能明显看出拼贴的痕迹。
还有，AI有时会在理解脚本和重建视频上产生问题。
例如，搞错姿势（站着->坐着）、打电话时听筒位置不对、背景和人物动作不同步等等。还有下面这个案例。
脚本：Wilma正跟Fred讲话，而他坐在饭厅的餐桌前读书。Fred专注读书，没听Wilma在讲什么。
如果你仔细看，能发现两个人物关系搞反了。
还有更糟的。
对于极端复杂的场景，例如包括三个或以上罕见的实体对象，Craft脑补出来的动漫小骗堪称“灾难”。
就像这样。
不过，这个研究的意义在于，AI对于文本的理解，以及基于其上的视频生成。一切还都有进步空间。
更远一点，也许未来的动画工作室，不会再有一堆堆天才的动画师，取而代之的是能快速生成动画片的AI。
— 完 —
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
8. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
9. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
