ViiTorVoice-NAR实测 - 开源免费的语音克隆工具

佚名 2026-07-20 17:25:55

今天发点适合做音色复刻的东西。

说实话，现在做 AI 语音最烦的地方，是生成的音频里只想改几个词，却不得不重新录、重新配、重新剪。

今天这个 GitHub 的 ViiTorVoice-NAR 项目就很适合这种场景：给一段原始音频和对应文案，直接把里面的局部内容改掉，声线、语气、节奏还能保留原来的感觉。

01. 项目简介

ViiTorVoice-NAR 是 viitor-ai 开源的非自回归语音生成系统，主要面向语音克隆、局部语音编辑、情感控制和副语言控制。

项目地址：https://github.com/viitor-ai/viitor-voice-nar

ViiTorVoice-NAR 的核心思路是把语音生成从逐 token 接龙改成离散音频 token 填空。

传统自回归 TTS 往往按顺序生成音频 token，前面生成完才能继续后面；ViiTorVoice-NAR 使用 masked language model 方式，在离散 codebook 空间里补全被 mask 的音频片段。

这个结构很适合语音局部编辑，比如把一句话里的 Friday 改成 Monday，只需要定位并重合成被修改的局部区域，不必整段音频重新生成。

ViiTorVoice-NAR 的核心能力：

语音克隆：输入一段提示音频，模型生成目标文本对应的语音，并尽量保留提示音频中的说话人音色。
局部语音编辑：输入原始音频、原始文本和编辑后的完整文本，系统会先对文本做 diff，再结合强制对齐结果找到需要替换的音频区域，最后只重合成那一小段音频。
情感和副语言控制：文本条件里可以插入情感标签或副语言标签，比如情绪、笑声、停顿、语气等。
低延迟推理：项目支持 first block 推理模式。模型可以先生成第一块音频 token，用来缩短首帧等待时间。

02. 项目实测

项目需要安装 git 、uv 和英伟达的显卡，只需要 8G 显存就够了，12G 使用起来会更流畅一点。

环境装好直接克隆项目到一个英文路径：

1 cd D:2 git clone https:

/

github.
com/viitor-ai/viitor-voice-nar.
git viitor-voice-nar3  cd D:viitor-voice-nar

然后创建创建 Python 3.12 虚拟环境，并安装依赖：

1 uv venv

--

python 3.
122  uv pip install --
python .
venvScriptspython.
exe -
r requirements-grpc.
txt3  uv pip install --
python .
venvScriptspython.
exe -
r requirements-alone.
txt4  uv pip install --
python .
venvScriptspython.
exe protobuf==4.
25.
3

下载模型，模型有 10 多个 G，大家留好空间：

1

New-Item

 -
ItemType Directory -
Force local_models2  $env
:PYTHONIOENCODING="utf-8"
3  .
venvScriptshf.
exe download ZzWater/ViiTorVoice-NAR --
local-dir
 local_models

最后启动就可以开始用了：

1 cd D:viitor-voice-nar2

.

run_grpc_v2.
ps1 start
 all --
 --
no-warmup

case 1 语音克隆

1

Copy-Item

 "被克隆的语音位置"
 "D:viitor-voice-narinput_voice_clone.mp3"
 -
Force2  3  curl.
exe -
X POST http:/
/
127.
0.
0.
1:7861/v1/voice-clone `4    -
F "ref_audio=@D:viitor-voice-narinput_voice_clone.mp3"
 `5    -
F "text=你好，这是一次语音克隆测试。"
 `6    -
F "language=zh"
 `7    -
F "allow_missing_ref_text=true"
 `8    -
F "output_format=wav"
 `9    -
F "num_steps=32"
 `10   --
output "语音克隆输出位置"
 `11   --
write-out
 "HTTP %{http_code} size %{size_download}`n"

原版：

https://ai-bot.cn/wp-content/uploads/2026/07/ViiTorVoice-NAR-01.m4a

克隆版：

https://ai-bot.cn/wp-content/uploads/2026/07/ViiTorVoice-NAR-02.m4a

可以看出克隆版不仅音色比较像，还带了一点说唱的味道。

case 2 局部改词

1

Copy-Item

 "被克隆的语音位置"
"D:viitor-voice-narinput_liziming.mp3"
 -
Force2  3  curl.
exe -
X POST http:/
/
127.
0.
0.
1:7861/v1/text-local-edit `4    -
F "source_audio=@D:viitor-voice-narinput_liziming.mp3"
 `5    -
F "original_text=请注意三年六班李子明，李子明同学，你妈妈拿了两罐旺仔牛奶要给你。"
 `6    -
F "edited_text=请注意三年六班克劳德，克劳德同学，你妈妈拿了两份迪普斯科要给你。"
 `7    -
F "language=zh"
 `8    -
F "input_format=wav"
 `9    -
F "output_format=wav"
 `10   -
F "align_granularity=word"
 `11   -
F "expand_mask_ratio=1.5"
 `12   -
F "num_steps=32"
 `13   --
output "语音克隆输出的位置"
 `14   --
write-out
 "HTTP %{http_code} size %{size_download}`n"

原版：

https://ai-bot.cn/wp-content/uploads/2026/07/ViiTorVoice-NAR-03.m4a

改词版：

https://ai-bot.cn/wp-content/uploads/2026/07/ViiTorVoice-NAR-04.m4a

除了需要改动的地方，其他地方基本没有什么变动。

case 3 情绪控制

1

Copy-Item

 "被克隆的语音位置"
"D:viitor-voice-narinput_sad_ref.wav"
 -
Force2  3  $Text
 = "你好，这是一次悲伤情绪的语音生成测试。"
4  5  curl.
exe -
X POST http:/
/
127.
0.
0.
1:7861/v1/voice-clone `6    -
F "ref_audio=@D:viitor-voice-narinput_sad_ref.wav"
 `7    --
form-string"text=<|emotion-sad|>
$Text
"
 `8    -
F "language=zh"
 `9    -
F "allow_missing_ref_text=true"
 `10   -
F "emotion_guidance_scale=6.0"
 `11   -
F "nvv_guidance_scale=2.0"
 `12   -
F "output_format=wav"
 `13   -
F "num_steps=32"
 `14   --
output "语音克隆输出的位置"
 `15   --
write-out
 "HTTP %{http_code} size %{size_download}`n"