Spark-TTS

Spark-TTS是什么？

Spark-TTS是一个由大型语言模型（LLM）驱动的先进文本转语音（TTS）系统，具备零样本语音克隆、中英文双语合成和可控语音生成等功能。直接从 Qwen2.5 语言模型代码输出重建音频，并不需要额外的声学模型。支持上传一段音频/录音作为语音模板进行克隆，同时可以控制性别、音高、语速参数来生成对应的发音，声音流畅自然且充满变化，具有多种不同用途场景。其提供了命令行及 webUI 操作入口两个界面对外交互。适配研究、内容创作、语音助手、教育等多种应用场景。

主要功能特点

• 零样本语音克隆：无需训练数据，几秒钟的参考音频就能“复刻”说话者的声音，用于个性化语音合成与虚拟角色塑造。
• 中英文双语支持：可以合成中文或英文语音，也可以一句话中混用中英两种语言。
• 可控语音生成：支持改变性别、音调、语速等参数，创造出不同风格的虚拟说话人，适配不同内容场景。
• 简化架构，高效推理：基于 Qwen2.5 构建而来，可以直接在 LLM 预测出的代码上重建出音频，不需要声学模型的参与。
• Web UI 与命令行双支持：提供图形界面及 CLI 命令行工具，支持上传或者录音，面向不同的用户群体。
  
• 跨平台部署能力：本地部署和云端推理皆可，支持集成到各种内容创作平台、语音助手以及教育软件应用等场景。
• 开源透明，研究友好：已在 GitHub 上开源发布，使用 Apache 2.0 许可证，适合学术研究、产品原型开发与商业集成。 

应用场景

• AI 虚拟主播与配音
• 个性化语音助手与客服机器人
• 有声书、播客与短视频配音
• 教育内容语音生成与无障碍辅助
• 多语言语音研究与语音 UI 原型设计 

Spark-TTS的使用方法

1. 环境准备

安装依赖：确保已安装 Python（建议版本 3.12 或更高）和 Conda 环境管理工具。

克隆代码仓库：运行以下命令将 Spark-TTS 仓库克隆到本地：

git clone https://github.com/SparkAudio/Spark-TTS.git

cd Spark-TTS

创建虚拟环境：使用 Conda 创建并激活虚拟环境：

conda create -n sparktts -y python=3.12

conda activate sparktts

安装依赖库：运行以下命令安装所需依赖：

pip install -r requirements.txt

2. 下载预训练模型

通过 Python 下载：

from huggingface_hub import snapshot_download

snapshot_download(“SparkAudio/Spark-TTS-0.5B”, local_dir=”pretrained_models/Spark-TTS-0.5B”)

通过 Git 下载：

mkdir -p pretrained_models

git lfs install

git clone https://huggingface.co/SparkAudio/Spark-TTS-0.5B pretrained_models/Spark-TTS-0.5B

3. 基本使用

运行示例脚本：

cd example

bash infer.sh

命令行生成语音：

python -m cli.inference

–text “需要合成的文本”

–device 0

–save_dir “保存音频的路径”

–model_dir pretrained_models/Spark-TTS-0.5B

–prompt_text “提示音频的文本内容”

–prompt_speech_path “提示音频的路径”

4. 使用 Web 界面

启动 Web UI：运行以下命令启动界面：

python webui.py –device 0

功能支持：Web 界面支持语音克隆和语音生成，可上传参考音频或直接录制音频。

5. 可选功能

• 语音克隆：上传参考音频，生成与参考音频相似的语音。
• 语音参数调整：通过调整性别、语速、音高等参数，生成个性化语音。

Spark-TTS的GitHub仓库：https://github.com/SparkAudio/Spark-TTS