发布时间:2024-08-15 17:27:59 浏览量:160次
一直没有写过关于声音克隆的文章,所以这次补上,毕竟这个用的还真是有点多,也为后面更多的个性化配音做好准备。
TTS 的英文全名是 Text To Speech,中文译名是“文本转语音”。它是一种将文本内容转换为语音的技术,通过TTS技术,计算机可以将文字信息转换成人类可听懂的语音输出,实现语音合成的功能。
目前市场上的AI声音
我们最多用的还是普通的TTS,即把文字通过软件输出指定人的声音,这块微软做的不错,之前自己写过一个免费的TTS小软件,API用的就是微软的,如有需要,请看自己开发 一个免费的文本转语音小工具(这里插不进来链接,联系小编)。
如果你觉得功能少,可以使用国内的魔音工坊,但是要收费的哈。
但这些都不能指定声音转换,所以这里使用声音克隆,来将指定人声训练成模型,然后文字转音频。
接下来说重点声音克隆
开源项目地址:
https://github.com/fishaudio/Bert-VITS2
https://github.com/RVC-Boss/GPT-SoVITS
GPT-SoVITS是由RVC变声器的创始人(GitHub昵称为RVC-Boss)与AI音色转换技术专家Rcell合作开发的一个开源项目。它是一个跨语言音色克隆工具,专注于声音的转换和克隆。
Bert-VITS2是由社区开发者fishaudio发起的一个开源项目,它基于VITS(Variational Inference for Text-to-Speech)模型进行开发,旨在提供高质量的文本到语音(TTS)服务。
GPT-SoVITS在训练时间上具有明显的优势,因为它支持Few-shot学习,能够在短时间内(如一分钟的语音数据)训练出具有相似音色的模型。
Bert-VITS2可能需要更长的训练时间(1-4个小时)来达到高质量的语音合成效果,尤其是在数据集较大或模型较为复杂的情况下。
简单来说就是如果你需要更稳定和标准的声音,辛苦一次永久使用就选择Bert-VITS;
如果你想快速实现声音克隆,跨语言就选择 GPT-SoVITS;
这里以GPT-SoVITS为例,写一篇详细教程,因为他简单有效还节省时间,至于Bert-VITS,我感觉即使写了,他几个小时的训练时间加上大量的素材收集,许多人也没时间去尝试,效果也不一定能好很多,这里力推GPT-SoVITS!让我们开始吧!
开始前准备,注册 OpenBayes 平台账号
新用户注册 OpenBayes即可获得3小时免费RTX4090使用时长,用下方注册链接你我都可以多加一个小时免费时长哈
点击咨询
1 GPT-SoVITS一键克隆环境:
选择公共资源下的公众教程,选择 GPT-SoVITS 音频合成在线 Demo
点击右上角克隆,之后选择审核并执行,继续执行
等待几分钟, 等待数据同步成功
完成后 打开工作空间
4 打开 run.ipynb,一键运行所有单元格
5 等几秒钟运行完毕,打开输出的 public URL
6 打开音频选择数据类型
7 点击开始选练
8 等待几分钟训练时间
可以后台看到训练15epoch后训练成功,前端显示模型开始预测
4 训练填写新绑定的数据集目录
5 重复之前开头的步骤,最后我们看下效果
说中文效果
克隆李雪健-中文
说英文效果
克隆李雪健English-version
最后,这个教程看着多了点,其实可能我只是尽可能把每个步骤的图贴完整,尽量满足各种不懂编程的人都够顺利克隆声音成功
这个项目还是蛮牛皮,重点在于省时省力,简单有效,当之为当前性价比速度之神,也期待你能有更多更好玩的用处
如果是英文,建议去llElevenlabs
文章不易,如果你觉得不错,记得点个赞、在看、转发吧,感谢!
热门资讯
想将照片变成漫画效果?这篇文章分享了4个方法,包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图,简单操作就能实现,快来尝试一下吧!
2. 华为手机神奇“AI修图”功能,一键消除衣服!原图变身大V领深V!
最近华为手机Pura70推出的“AI修图”功能引发热议,通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗?点击查看!
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
4. AI视频制作神器Viggle:让静态人物动起来,创意无限!
Viggle AI是一款免费制作视频的AI工具,能让静态人物图片动起来,快来了解Viggle AI的功能和优势吧!
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
6. 零基础10分钟生成漫画,教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
8. AI显卡绘画排行榜:4090无悬念,最具性价比出人意料
在AI绘图领域,Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现,以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
9. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
同学您好!