火星网校
从文生图到文生视频，AI生成内容技术框架与商业化探析
发布时间：2024-08-18 10:34:13 浏览量：212次
从文生图到文生视频，AI生成内容技术框架与商业化探析
文生图：基于文本生成图像，Stable Diffusion开源后迎来快速发展
文生图是基于文本通过生成式AI生成图像的模式。近期，文生图技术蓬勃发展，如海外的Stable Diffusion、国内的万兴科技万兴爱画、百度文心·一格等投入商用。底层模型主要涵盖GAN、扩散模型、自回归模型中的扩散模型。
文生视频：自回归和扩散模型为主流
文生视频是基于文本生成视频的模式，随着文生图技术的进步，以Runway为代表的公司不断涌现。主流模型经历图像拼接生成、GAN/VAE/Flow-Based生成、自回归和扩散模型阶段。
GAN：提升图像生成能力
生成对抗网络（GAN）是提升图像生成能力的主流模型，通过生成器和判别器对抗训练，使生成式网络的数据趋近真实数据。
自回归模型：利用Transformer结构进行图像生成
自回归模型采用Transformer进行图像生成，模拟像素和高级属性之间的关系，利用自注意力机制进行编码和解码。
扩散模型：通过添加噪声和反向降噪推断生成图像
扩散模型通过系统地扰动数据中的分布并逐步优化，生成图像，是当前主流路径之一。
CLIP：实现文本和图像特征提取和映射
CLIP是基于对比学习的文本-图像跨模态预训练模型，通过文本编码器和图像编码器实现文本和图像的特征提取和映射。
商业化模式及成本拆分
平均来看自回归模型成本最高，生成视频成本远高于生成图片
不仅参数量大小，成本还取决于训练时间和用户规模。用户体量较大时，线上运营推理的成本可能占整体成本80-90%。
文生视频生成消耗的算力较多，主流模型长度支持2秒~4秒。
文生图领域整体创业门槛低，商业模式存疑问
在模型和成本端看，文生图整体成本远低于通用大模型，但商业化模式仍存疑问，特别是C端用户付费意愿偏低问题。
文生图代表模型及应用
Meta：基于自回归的模型CM3Leon发布
Meta发布CM3Leon，首个使用纯文本语言模型改编和训练的多模态模型。
Midjourney：文生图龙头，用户规模超千万
Midjourney是AI基于文字生成图像的工具，用户规模庞大，但商业模型尚未明确。
StabilityAI：发布Stable Diffusion开源模型
Stable Diffusion是StabilityAI的文本生成图像模型，已获得大额融资，估值破亿。
Clipdrop被StabilityAI收购
Clipdrop是AI图像编辑应用，母公司Init ML于2023年被StabilityAI收购，功能得到显著增强。
Adobe Firefly：具备可编辑性的AI生成工具
Firefly是Adobe的基于生成式AI的工具，可以实现多种图像处理功能。
文生视频代表模型及应用
视频生成模型：行业迎来小高潮
文本生成视频被视为文本生成图像的进阶技术，近期成为跨模态生成领域的热门场景。
清华CogVideo：首个开源中文文本生成视频模型
CogVideo是清华团队发布的基于自回归模型的文本生成视频模型，参数高达94亿。
谷歌Phenaki：首个生成长视频的自回归模型
Phenaki是谷歌开发的首个能生成长视频的模型，利用时间上的因果注意力实现可变长度视频生成。
Runway Gen-1 & Gen-2：商用明星应用
Runway是面向C端客户的图像和视频编辑软件供应商，提供多项服务。
报告节选：
本文仅供参考，为AI生成内容行业的技术探索，不构成任何投资建议，具体信息请查阅原始报告。
精选报告来源：未来智库。点击咨询
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
8. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
9. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
