Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe，整合转写、翻译与说话人识别

Nvidia 发布了一款可接受文本指令的开源语音识别模型，该公司称其在多项基准测试中领先。此次发布还包含一个大型训练数据集，以及用于将模型适配到专业领域的工具。

纯文本转录无法告诉你谁说了什么，也无法翻译内容或正确拼写专业术语。Nemotron 3.5 Transcribe 旨在用单一模型处理所有这些任务，它还能回答关于录音内容的问题。Nvidia 表示，该模型可转录 40 种语言，支持其中 31 种语言与英语之间的互译，并能在 13 种语言中识别说话人。它可处理长达一小时的录音，其中最多可包含八位说话人。

用户通过简单的指令来控制模型。根据提示词的不同，同一段会议录音可以变成带说话人标注的转录稿、英文翻译，或是所做决定的摘要。用户还可以将药物名称等专业术语作为提示传入。模型只应在这些术语确实出现在录音中时才使用它们。

Streudiagramm von Artificial Analysis, das die Wortfehlerrate offener Spracherkennungsmodelle gegen ihre aktiven Parameter auf logarithmischer Skala aufträgt. Nemotron 3.5 Transcribe liegt bei rund vier Milliarden Parametern und knapp 3 Prozent Fehlerrate auf der Pareto-Linie, nur Voxtral Small mit rund 24 Milliarden Parametern erreicht einen ähnlich niedrigen Wert. — 在 Artificial Analysis 的对比中，Nemotron 3.5 Transcribe 的错误率仅比 Mistral 体积大得多的 Voxtral Small 略高，而算力消耗只是其一小部分。| 图片：Artificial Analysis

单卡 GPU 上接近顶尖的准确率

该模型拥有 300 亿参数，但每个处理步骤中只有约 40 亿参数处于激活状态。因此，它可以在单块 Nvidia GPU 上运行，涵盖从紧凑型 DGX Spark 到数据中心硬件的各种设备。Nvidia 表示，在 RTX PRO 6000 Blackwell Server Edition 上以 NVFP4 精度运行时，该模型处理 100 小时音频用时不到三分钟。

在 Hugging Face 的英文 Open ASR 排行榜上，Transcribe 在开源权重模型中排名第一，平均词错误率为 5.33%。在 Artificial Analysis 的对比中，其得分为 2.81%。这与最佳开源模型 Voxtral Small 的 2.77% 相当接近，但 Transcribe 的激活参数只有其约六分之一。据 Nvidia 称，多款广泛使用的商业语音服务均落后于该模型。

Ausschnitt aus dem Open ASR Leaderboard auf Hugging Face mit den zehn bestplatzierten Modellen. Nemotron 3.5 Transcribe führt mit einer durchschnittlichen Wortfehlerrate von 5,33 vor Qwen3-ASR-1.7B mit 5,4 und IBM Granite Speech mit 5,68. — 在 Hugging Face 的 Open ASR 排行榜上，Nemotron 3.5 Transcribe 略胜来自阿里巴巴和 IBM 的开源模型。| 图片：Hugging Face

领先优势最大的是说话人识别。VoiceArena 在说话人有时会互相抢话的对话上测试了 14 个系统，Transcribe 获得第一名。它的漏词也最少，漏词率为 8.32%，而中位数约为 31%。在 David AI 的基准测试中——该测试衡量 21 种语言下的说话人归属——它取得了最低的错误率，仅以微弱优势胜过 Nvidia 自己用于该任务的专用模型。

Balkendiagramm von VoiceArena zum Diarization-Bench v1 mit englischen Gesprächsaufnahmen inklusive überlappender Sprache. Nemotron 3.5 Transcribe erreicht mit 32,4 Prozent die niedrigste cpWER, gefolgt von Nvidias Multitalker Parakeet mit 34,2 Prozent und MOSS Transcribe Diarize mit 34,7 Prozent, Deepgram Nova-3 liegt mit 71,9 Prozent am Ende. — 在 VoiceArena 的对比中，Nemotron 3.5 Transcribe 在说话人会互相打断的英文对话中最擅长判断谁说了什么。数值越低越好。| 图片：VoiceArena

Balkendiagramm des Benchmarks DAI-ASR-I18N von David AI zur Diarisierungsfehlerrate. Nemotron 3.5 Transcribe liegt mit 18,26 auf Platz eins knapp vor Nemotron 3 Diarization mit 18,38, dahinter folgen MAI-Transcribe-2, Scribe v2 und weitere Modelle bis gpt-4o-transcribe-diarize mit 37,55. — 在 David AI 的基准测试中，Nemotron 3.5 Transcribe 在 21 种语言下识别当前说话人最为可靠。数值越低越好。| 图片：David AI

开源数据集让开发者能针对自己的领域进行训练

除了模型之外，Nvidia 还发布了 Granary v2 数据集。它包含约 844,000 小时、涵盖 48 种语言的语音，而上一版约为 643,000 小时、涵盖 25 种语言。每段录音都有多种转写风格。一种是逐字转写，包含 "uh" 这样的语气词和拼写出的数字；另一种是清理过的版本，没有语气词，数字以数字符号呈现。Nvidia 还分享了用于构建该数据集的工具，开发者可以在自己的录音上运行这些工具。不过该公司表示，该数据集与模型的训练数据并不完全一致。

Nvidia 针对印度医生和医学生的录音测试了定向微调。在完整基准测试中，更精确的提示将错误率从 30.8% 降至 23.8%。微调之后，错误率降至 11.8%。训练数据主要是合成语音。对于模型此前未听过的声音，Nvidia 另行报告错误率从 22.44% 降至 12.17%，相对改善 45.8%。这使微调后的模型超过了某个开源医疗语音模型，后者得分为 13.79%。Nvidia 表示，整个过程在单台 Nvidia GB300 上大约耗时 14 个 GPU 小时。

这种专业化是有代价的。在通用英语语音上错误率略有上升，而且在品牌药名上医疗模型的准确度更高。Nvidia 建议在构建定制版本时，至少留出 100 条真实、经过验证的录音用于测试。

基础模型也有局限。功能因语言而异，Nvidia 表示音频问答功能是在英语上训练的。该模型也只针对录制音频构建。Nvidia 提醒用户应抽查姓名、说话人切换和回答。

模型和数据集已在 Hugging Face 上发布。还有一个可以试用的演示。关于微调，Nvidia 提供了指南和一个扩展，可让 AI 编程助手运行训练流程。

Nvidia 直到最近才在 9 月推出 Nemotron 3 Diarization，一款专用的说话人识别模型。它最多可区分八位说话人，即使在实时对话中也可以，但实际转写仍需要像 Nvidia 的 Parakeet 这样的独立模型。Nemotron 3.5 Transcribe 将两项任务合二为一，并增加了翻译和音频理解功能。不过它不支持实时处理。Nvidia 此前已在其多模态 Nemotron 3 Nano Omni上使用过 Granary 数据集。

竞争对手的侧重点各不相同。Mistral 的Voxtral 系列同样结合了转写和音频理解。借助近期发布的 Voxtral 3，该公司正专注于实时语音智能体。

AI News Without the Hype – Curated by Humans

订阅 THE DECODER，享受无广告阅读、每周 AI 通讯、每年六期独家 "AI Radar" 前沿报告、完整档案访问权限以及评论区访问权限。