技术分享
🎙️声音克隆F5-TTS
00 分钟
2024-10-28
2024-11-10
type
status
date
slug
summary
tags
category
icon
password
F5-TTS的声音克隆项目，它是上海交通大学推出的一款高性能文本到语音系统，克隆的声音效果确实很炸裂。
  1. 支持两个TTS模型的。一个是F5-TTS, 另一个是E2-TTS，他们主要区别是F5生成音频的时间更快，但是声音还原度没那么高，而E2-TTS生成的声音更逼真，那么必然导致生成速度就更慢一点了。我测试下来是有细微的差别，但是差别不是太大。
  1. 支持英文和中文两种语言合成，并且支持中英两种语言之间无缝切换。
  1. 参考声音需要控制在15秒内，效果会更好。
  1. 它这里主要有四个功能，一个是批量合成语音，第二个是多语音类型的合成，第三个是语音对话。第四个是Podcast博客功能。
 

一、在线体验地址

  1. huggingface:【🔗huggingface.co】
  1. Modelscope:【🔗modelscope.cn】
  1. 演示参考语音：【🔗夸克网盘分享】
 

二、本地部署

 

准备工作：

  1. 安装git工具:【🔗Git-安装Git】，根据自己电脑的系统使用命令或者下载安装包安装
  1. 安装Miniconda工具:【🔗Miniconda-Anaconda-documentation】，根据自己电脑的系统使用命令或者下载安装包安装
  1. 安装Pytorch框架：【🔗PyTorch】，根据自己的系统和CUDA版本选择相应的选项，复制下面给出命令，到终端窗口运行，就可以安装Pythorch了。
 

开始安装：

1. 创建Python环境

  • 用Conda来创建一个名为f5-tts的Python独立的虚拟依赖环境。
    • 激活f5-tts环境

      2. 安装项目

      • 到F5-TTS的GitHub仓库【🔗F5-TTS】复制项目地址
      • 电脑合适的位置打开终端运行以下命令：
         

        3. 安装Gradio应用，也就是WebUI,图形界面。

        点击终端输出的网址就可以使用F5-TTS来克隆声音了。
         

        三、常见问题及解决方法

        如果没有找到 conda 命令的解决方法
        如果你在终端中遇到 zsh: command not found: conda，通常说明 conda 的路径没有正确配置到你的 zsh 环境中。

        解决方法

        1. 确保 Miniconda 已正确安装：
            • 重新打开终端窗口，输入 conda --version 查看 conda 是否可用。
            • 如果没有输出版本信息，可以检查 Miniconda 是否已安装，或重新安装。
        1. 手动添加 Conda 到 zsh 配置文件：
            • 如果确认安装了 Miniconda，但仍无法使用 conda 命令，可以将 conda 的路径手动添加到 ~/.zshrc 文件中。
            打开终端并运行以下命令，将 Miniconda 的路径写入 ~/.zshrc 文件：
            请确保路径 $HOME/miniconda3/bin 与实际 Miniconda 安装路径一致。如果你的 Miniconda 安装在其他目录，请替换为对应的路径。
        1. 重新加载 zsh 配置文件：
            • 使用 source ~/.zshrc 或者重启终端，使更改生效。
        完成这些步骤后，再次尝试运行 conda 命令，应该可以正常使用了。
        系统中缺少 ffmpeg 工具的解决方法
        系统中缺少 ffmpeg 工具，PyTorch 需要通过 ffprobe 来处理非 WAV 格式的音频文件。安装 ffmpeg 并将其添加到系统路径中可以解决这个问题。
        macOS解决方法
        1. 安装 ffmpeg： 在 macOS 上，可以通过 brew（Homebrew 包管理器）来安装 ffmpeg。如果没有安装 Homebrew，可以先在终端运行以下命令安装：
            2. 然后，使用 brew 安装 ffmpeg：
        1. 验证安装： 安装完成后，运行以下命令检查 ffmpeg 是否安装成功：
          1. 确保 PATH 配置正确： 如果你使用 brew 安装了 ffmpeg，它会自动添加到 PATH 中。如果仍然无法找到 ffprobe，可以将 ffmpeg 路径手动添加到 ~/.zshrc 中（路径通常为 /usr/local/bin 或 /opt/homebrew/bin，视 Homebrew 版本和安装路径而定）。
            安装完成并配置好路径后，你应该可以使用 ffmpeg 和 ffprobe 处理非 WAV 格式的音频文件了。
            Windows解决方法
            在 Windows 上安装 ffmpeg 也很简单，可以通过以下步骤完成安装和配置：

            1. 下载 ffmpeg

            1. 打开【🔗ffmpeg官网】。
            1. 在页面中找到 Windows 版本的下载链接，点击进入。
            1. 下载适用于 Windows 的 ffmpeg 压缩包文件（一般是 .zip 格式）。

            2. 解压并设置路径

            1. 将下载的 .zip 文件解压到一个你想要的目录，比如 C:\ffmpeg。
            1. 进入解压后的文件夹，并找到 bin 文件夹（例如 C:\ffmpeg\bin），这个文件夹包含了 ffmpeg.exe 和 ffprobe.exe 等文件。

            3. 将 ffmpeg 添加到系统路径（PATH）

            1. 打开 控制面板 > 系统和安全 > 系统。
            1. 点击左侧的 高级系统设置。
            1. 在“系统属性”窗口中，点击 环境变量。
            1. 在“环境变量”窗口下的 系统变量 区域，找到 Path 变量并点击 编辑。
            1. 点击 新建，然后将 ffmpeg 的 bin 文件夹路径添加到 Path 中（例如 C:\ffmpeg\bin）。
            1. 点击 确定 保存设置。

            4. 验证安装

            1. 打开 命令提示符（可以按 Win + R，输入 cmd，然后回车）。
            1. 输入以下命令确认安装是否成功：
              如果命令行输出 ffmpeg 和 ffprobe 的版本信息，说明安装已成功。

              四、注意事项

              • 确保你的系统满足所有必要的依赖和要求，特别是Python和CUDA版本。
              • 在使用F5-TTS进行声音克隆时，请遵守相关法律和道德规范，不要用于非法或不当目的。
              • 首次运行可能需要下载模型，这可能需要一些时间，请保持耐心。
              • 如果遇到任何问题，可以查阅GitHub仓库的Issues部分或寻求社区帮助。
              • 定期更新F5-TTS以获得最新的功能和bug修复。可以通过在F5-TTS目录下运行 git pull 来更新。
              使用F5-TTS时，请记住尊重他人的隐私权和知识产权。
               
               
              更多详情请参考 github地址：【🔗F5-TTS】
               
              上一篇
              三步搭建个人博客
              下一篇
              6款AI图片神器
              目录