首页 › 教程 › 自定义模型

自定义模型 · 手把手使用教程

适用位置:软件左侧「全局设置」→「自定义模型」卡片。本文带你从“要不要动它”一路走到“怎么确认真的生效了”。

先花 30 秒看完这段,能省你两小时。
软件自带的模型是反复测试调好的,绝大多数情况下就是最好的选择。自定义模型是给“想换更大 / 更小的模型、想换外语或声纹引擎”的人准备的。
四格全部留空 = 用自带模型(推荐)。填了才生效。
VoiceText 全局设置里的自定义模型卡片,共 ① 中文识别 ② 外语/通用识别 ③ 说话人分离(声纹)④ 翻译(插件)四格,右上角有「使用教程」按钮
软件左侧「全局设置」→ 右侧「自定义模型」卡片全貌(含 ①②③④ 四格,右上角就是本文的入口按钮)(点图看原图)

第 1 节 · 先认门:四格分别管什么

格子管什么什么时候才需要动它格式不填会怎样
① 中文识别 中文、中英混说的语音转文字 想换更大的中文模型求更准,或换更小的给显存紧张的电脑省资源 FunASR
config.yaml
用自带 seaco-paraformer(推荐)
② 外语 / 通用识别 纯外语素材;勾了“通用模型”后,连中文也用它 外语识别要换模型(比如换更省显存的小型号) CTranslate2
config.json
用自带 faster-whisper-large-v3-turbo
③ 说话人分离(声纹) 勾了“区分说话人”时,判断“这句话是谁说的” 多人会议要换声纹模型 FunASR
config.yaml
用自带声纹模型
④ 翻译(插件) 把字幕翻译成别的语言 想换 MADLAD 以外的翻译引擎(NLLB / opus-mt 等) 插件 .py + 模型目录 用自带 MADLAD-400

第 2 节 · 动手前,这 3 件事必须记住

第 1 件事:文件夹要选到“打开就看见配置文件”的那一层

这是最容易犯的错。下载下来的模型常常外面还套着一层文件夹,很多人就选了外面那层,结果软件找不到文件——而且不报错。

❌ 这样选(错): 下载的文件夹 └─ 模型文件夹 ← 你选了外面这层 ├─ config.yaml └─ model.pt ✅ 这样选(对): 下载的文件夹 └─ 模型文件夹 ← 选这一层! ├─ config.yaml ← 打开就该一眼看到它 └─ model.pt

判断口诀:打开文件夹,第一眼就能看到 config.yaml(或 config.json)—— 就是这一层。

第 2 件事:填错了不会报错,而是“偷偷用回自带模型”

这是本功能最重要的特性:填错、格式不对、显存不够,软件一律不弹窗、不报错、不崩溃,直接静默回退到自带模型。
所以——“没报错”不等于“生效了”。你必须用第 7 节的方法去确认。

第 3 件事:任何一格不想用了,点「恢复默认」就能回到自带模型

每一格右边都有「恢复默认」按钮,点一下清空,立刻回到自带模型,不会破坏任何东西。放心试。

第 3 节 · ① 中文识别(手把手)

3.1 这个文件夹必须长这样

你的模型文件夹/ ├─ config.yaml ← 必须有(软件靠它认模型架构) ├─ model.pt ← 权重文件,下面四种后缀任一即可 │ .ckpt / .pt / .pth / .bin └─ tokens.json 等 (其他配套文件有就放,没有不影响判断)

3.2 三条硬性条件(少一条就静默回退)

  1. 文件夹里直接有 config.yaml;
  2. config.yaml 里 model: 写的架构名,必须属于下面这些已知识别架构之一:
    paraformer、seaco、sensevoice、whisper、conformer、transformer、uniasr、cif、monotonic、rnnt、ctc
  3. 文件夹里有权重文件(.ckpt / .pt / .pth / .bin 任一)。
最大的坑:千万别把「声纹模型」或「标点模型」填到这一格。
这类模型不是干“语音转文字”的。填进来会出现最难受的情况:识别过程一切正常、进度条正常走完,但出来的字幕是空的。
软件已经内置拦截:一旦发现架构不属于上面的已知识别架构,会直接回退自带模型,并在日志里写明原因。

3.3 去哪下载

软件自带的就是这个(也是最推荐的中文模型):

想换别的大小型号,在魔搭搜索 paraformer / sensevoice 即可,只要架构名在上面那串清单里,基本都能用。

3.4 填写步骤

1
打开软件 → 左侧「全局设置」→ 找到「自定义模型」卡片 → ① 自定义模型 · 中文识别
2
直接把文件夹路径粘进输入框,或点「选择文件夹」按钮去选
3
选到“打开就看见 config.yaml”的那一层(见第 2 节第 1 件事)
4
不用点保存,软件会自动记住。然后按第 7 节确认是否真的生效
自定义模型卡片里的「① 中文识别」一栏:路径输入框、选择文件夹、恢复默认按钮,示例路径已填入
「① 中文识别」这一格填好后的样子(示例路径仅作演示,填你自己的真实路径)(点图看原图)

第 4 节 · ② 外语 / 通用识别(手把手)

前置条件(很多人卡在这):首次使用外语识别时,软件会自动下载外语识别模型,无需手动下载(软件已无「模型管理」入口,识别外语时自动拉取)。
否则即使这一格填对了,软件也会自动回退中文引擎——看起来就像“填了没生效”。

4.1 这个文件夹必须长这样(CTranslate2 格式)

你的模型文件夹/ ├─ config.json ← 必须有(软件第一件事就是找它) ├─ model.bin ← 权重 ├─ tokenizer.json ├─ vocabulary.json └─ preprocessor_config.json

注意:必须是 CTranslate2 转换过的版本(文件名里有 ct2 或 faster-whisper 字样的那种)。原始 PyTorch 版 Whisper 不能直接放进来用。

4.2「通用模型」勾选是什么意思

「② 外语 / 通用识别」下面有个勾选框:通用模型(中文也改用多语种引擎识别)。

4.3 去哪下载

软件自带的是这个:

说明:HuggingFace 官方站在国内通常打不开,上面给的是国内可用的镜像地址,和软件自己下载模型用的是同一套源。镜像站偶尔会限流打不开,等几分钟再刷新一次一般就好了。

自定义模型卡片里的「② 外语 / 通用识别」一栏,含路径输入框、选择文件夹、恢复默认按钮,下方是「通用模型(中文也改用多语种引擎识别)」勾选框
「② 外语 / 通用识别」这一格,注意下方的「通用模型」勾选框(默认不勾)(点图看原图)

第 5 节 · ③ 说话人分离 / 声纹(手把手)

5.1 硬性条件

  1. 文件夹里直接有 config.yaml;
  2. 架构必须是软件内置认识的这三种之一:
    CAMPPlus、ERes2NetV2、ERes2NetSV
    换成别的架构(比如自己训练的模型),软件会提示“架构未注册”并回退——那种情况需要写插件,属进阶用法;
  3. 有权重文件;
  4. 显存必须够——这一格的显存检查是“硬拦”,不够就直接回退(和 ①② 的“只提示不拦”不一样)。

5.2 去哪下载(三个官方模型,都很小)

模型适用体积地址
CAMPPlus中文,最常用约 28 MB魔搭
ERes2NetV2中文,效果更好约 68 MB魔搭
ERes2Net(英文)外语素材约 25 MB魔搭

这一格只在勾了「区分说话人」时才起作用;不勾的话填了也不影响。

自定义模型卡片里的「③ 说话人分离(声纹)」一栏:路径输入框、选择文件夹、恢复默认按钮
「③ 说话人分离(声纹)」这一格(点图看原图)

第 6 节 · ④ 翻译插件(进阶,手把手)

这一格和前面三个不一样:它是让“会写代码的人”接自己的翻译引擎。如果你不打算自己写插件,保持留空就是最好的选择(用自带 MADLAD-400)。

6.1 两格分别填什么

6.2 插件必须满足的约定

插件 .py 里必须有一个函数:

def vt_translate(texts, target_lang_key, model_dir): ... return 译文列表 # 条数必须和 texts 一样多,一一对应
返回条数不对、函数抛异常、或压根没写这个函数——软件都静默回退自带翻译,不报错。

6.3 现成模板在哪

软件安装目录里有个 mymodels 文件夹,里面有 _模板_翻译插件.py,里面已经写好了 MADLAD / NLLB / opus-mt 三个家族的参考写法,照着改就行。模型权重需要你自己下载。

自定义模型卡片里的「④ 翻译(插件)」两格:插件 .py 文件选择与模型文件夹选择
「④ 翻译(插件)」这两格(上格选插件 .py,下格选它要用的模型目录)(点图看原图)

第 7 节 · 怎么确认“真的生效了”

因为填错不报错,所以必须主动确认。方法:跑一个任务,然后看软件日志。

日志里看到这句话说明你该怎么做
使用自定义中文模型: 路径(权重 xxx)✅ 生效了不用管,已经在用你的模型
使用自定义声纹模型: 路径(权重 xxx)✅ 生效了同上
目录内缺少 config.yaml…回退内置❌ 没生效选错层级了,往里进一层,选到能看见 config.yaml 的那层
架构「xxx」…未注册…回退内置❌ 没生效这个模型的架构软件不认,换一个(看第 3 / 5 节的架构清单)
不是本软件已知的语音识别架构…回退内置❌ 没生效你把声纹 / 标点模型填到中文识别格了,换回真正的识别模型
未找到权重文件…回退内置❌ 没生效模型没下载完整,重新下载
显存预检未通过,本次回退内置❌ 没生效模型太大,换小一点的型号
一句话总结:日志里没出现“使用自定义XX模型”,就等于没生效。

第 8 节 · 排错对照表

现象最可能的原因怎么解决
填了但感觉没变化选错层级 / 架构不对 / 外语模型没先下载按第 7 节看日志,日志会写明具体原因
外语识别还是中文结果外语识别模型未就绪(首次使用软件会自动下载)首次使用外语识别时软件会自动拉取模型,稍等重试;若仍无效看日志
识别完成但字幕是空的把非识别模型(声纹 / 标点)填进了 ①① 只能填识别模型;软件通常会拦下并回退
换了模型反而更慢 / 卡模型比自带的大,显存不够换小型号;或点「恢复默认」用回自带
换了模型结果变差了自定义模型不一定更好点「恢复默认」,自带模型是调好的
声纹那格填了没效果没勾「区分说话人」这一格只在勾了该项时才起作用

第 9 节 · 怎么恢复默认

每一格右边都有「恢复默认」按钮,点一下就清空,立刻回到自带模型。

第 10 节 · 常见问题(FAQ)

我是新手,需要动这些吗?
不需要。全部留空就是最优配置。
换个更大的模型,识别会更准吗?
不一定。软件自带模型是针对中文场景反复测过的,盲目换大模型常常“更慢但没更准”,还可能显存不够。建议先明确想解决什么问题,再决定换不换。
显卡只有 4GB / 6GB,能换模型吗?
可以,但要往“小”的方向换,不要往大。显存不够时软件会自动回退(尤其声纹那格是硬拦)。
模型文件要放在软件目录里吗?
不用,放硬盘任何位置都行,只要路径填对。
换模型会不会影响我已经做好的字幕?
不会影响已生成的文件。但正在进行的任务如果换了模型,断点续跑会自动作废重来(因为模型变了,续跑指纹也变了)——这是正常的保护机制。

本教程所有“必须 / 不能”条款,均来自软件自身的校验逻辑实测,非经验推断。界面截图取自软件真实界面渲染。