火星网校
AI学习 - 声音与视频人脸 进行唇形合成
发布时间：2024-06-26 19:15:58 浏览量：169次
接上一篇：AI学习 - 2D虚拟数字人
上一篇基于百度开源的飞桨深度学习框架，实现了2D数字人，即AI换脸。然而效果并不理想，面部表情和声音都略显别扭。想要真实的面部表情效果，可能需要尝试3D技术；而为了实现理想的声音效果，则需进行自定义训练模型。
网络上一些数字人作品，其声音和面部表情效果已经非常逼真，几乎难以区分真假。因此，在涉及私人信息和财务等方面时，需要更加警惕。
本篇对上一篇的声音做了一次实验，将搞笑的声音直接与视频进行唇形合成，效果如下：
唇形合成效果似乎略显别扭，可能与大模型的唇形合成有关，具体细节尚未探究。
在上篇学习的基础上，本篇内容更加简单，步骤分为：
步骤1: 环境搭建
依然使用AI Studio，每天可获得免费算力数小时，使用起来比较方便。环境检查中遇到一些问题，需要多次开启AI Studio才能正常使用pip。
AI Studio的一个缺点是，用户没有超级权限，因此无法自由重装某些组件。为了解决pip安装问题，可能需要多次开启环境查找合适的环境。
// 环境检测python -V// 检查python依赖环境，注意确认paddlepaddle-gpu，paddlehub是否已安装pip list// 遇到如下问题，后续pip安装报错，重新安装/升级pip无效，只能重新开启aistudioWARNING: There was an error checking the latest version of pip.步骤2: 素材准备
准备一个音频和一个主持人口播视频。
也可访问这里运行我在AI Studio创建的项目以获取素材。
// 将下载的MP3音频转换为WAV格式，因为唇形合成需要WAV格式from pydub import AudioSegmentdef convert_mp3_to_wav(mp3_file_path, wav_file_path): audio = AudioSegment.from_mp3(mp3_file_path) audio.export(wav_file_path, format="wav")// 调用函数并指定MP3文件路径和WAV文件路径convert_mp3_to_wav("test.mp3", "example.wav")步骤3: 唇形合成
源代码如下，请注意路径：
// 进行唇形合成 - 将准备好的语音与视频的唇部形状合成import paddlehub as hubw2f = hub.Module(name="wav2lip")w2f.wav2lip_transfer(face='output/FOM.mp4', audio='wavs/example.wav', output_dir='./output/', use_gpu=True)想要了解更多关于数字艺术教育的信息，欢迎点击点击咨询。
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
8. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
9. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
