行业洞察技术剖析

自定义唤醒词怎么做:5,250 条语料、12 代模型与一台自制测试台

唤醒词是语音产品的名字,公版词装不下品牌。这篇把我们把一个品牌词从零训到量产的过程完整拆开:TTS 语料怎么生成、负样本为什么要配平、测试集 97.7% 为什么靠不住、以及一台自制测试台怎么把真机问题钉到一行代码。

自定义唤醒词怎么做:5,250 条语料、12 代模型与一台自制测试台 头图

语音链路那篇讲过,一次语音交互的第一环是唤醒——设备常开耳朵,只等一个「名字」。开源方案送的公版名字是「你好小智」,千台设备一个名字;品牌方想要自己的唤醒词,官方定制要排期与费用,而且数据与迭代都不在自己手里。我们最近为客户完成了一个品牌唤醒词的全流程交付:从语料生成到模型训练,从真机排障到量产部署,全程本地完成,最终模型 61KB。这篇把过程拆开讲——它比想象中更像一门数据工程,而不是一次模型训练。

三条路线:官方定制、命令词凑用、本地自训

  • 官方定制:芯片原厂训练专属唤醒词模型,质量稳,但要排队、要费用,迭代节奏在别人手里——适合量级大、周期宽松的产品
  • 命令词凑用:把离线命令词引擎挂上品牌词表当唤醒用,工程量最小;但它的误唤醒与灵敏度天花板天然偏低,体验打折
  • 本地自训:开源流式关键词架构(microWakeWord 一类),自己生成语料、自己训练、自己调参,模型几十 KB 跑进 MCU——数据与迭代完全自有,我们走的这条

选自训的前提是想清楚一句话:自训省下的授权费,会加倍变成数据功夫——语料、负样本、验收标准,每一环都要自己建。好处也直接:唤醒词改一个字、加一个变体,重训一轮就行,不用排队。

正样本:先用 TTS 起步,真人录音是补品不是主食

唤醒词「小氧」的正样本这么搭:先定唤起变体——「小氧 / 小氧小氧 / 你好小氧 / 嗨小氧 / 嘿小氧 / 嗨,小氧 / 嘿,小氧」7 个变体全保留,覆盖用户真实的喊法;再挑本地 TTS 音色 3 个(两女一男),每变体生成 250 遍,合计 5,250 条,几分钟生成完毕。有个反直觉的发现要记住:纯 TTS 训练的模型对真人嗓音近乎全盲——我们在同一批真实录音上对比过,TTS-only 模型 33 句只中 2 句。所以真人录音必须进正样本,女声批次单独补进去后,跨性别召回从 22/48 提到 47/48。但真人录音直接堆进去会翻车,坑在下一节。

最重要的功夫在负样本:配平,配平,还是配平

误唤醒全是负样本的事。我们的负样本体系分三层:困难样本——拿上一代模型去音乐、环境声库里扫,把打分偏高的片段挖出来回炉重训,专打「模型自己最怕的那几段」;环境底噪——按部署场景录环境音,滑窗切分、污染过滤后入库;同音干扰词——「小杨 / 小样 / 小阳」这类近音词是防误报的头号补品,因为真实用户嘴里的误触发大多长得像它们。

翻车案例值得单独讲:一批在嘈杂街头录的真人唤醒词,直接进正样本后,隔离测试全优,连续流测试却每小时误报上百次——模型把「人声嘈杂的语境」和「唤醒词」绑在了一起,遇到任何嘈杂人声就往唤醒词上靠。解法不是删掉这批录音,而是配平:同一批录音的间隙底噪、同类型人声嘈杂负样本一起入库,教模型「嘈杂不等于唤醒词」。另一条纪律:负样本每代最多新增一套,小集配高权重会互相拉扯,把决策边界拉糊。

验收:隔离指标会骗人,连续流才是真机口径

  • 两个口径必须分开测:隔离单测逐条打分、逐条重置状态;连续流模拟真机不重置状态连播——同一个模型,隔离全优、连续流引爆 0.988 的情况真实发生过
  • 流式模型有记忆:分数依赖之前几秒的历史,设备引擎触发唤醒后必须重置变量张量,否则上一轮的残留会污染下一轮
  • 训练有随机性:同一配方连训 5 个随机种子,连续流最大分数 0.247 / 0.373 / 0.502 / 0.816 / 0.969——差 4 倍。所以每代跑 3-5 个 seed 批量选种,冠军再全口径复核,通过才发布
  • 测试集召回 97.7% 只是入场券:测试集与训练集同源时指标虚高,真实表现必须过「连续流 + 真机」两道闸

真机排障:PC 满分、设备 0.64,一台自制测试台收案

模型上板后,真人喊话分数远低于 PC 对拍,最差只差 0.01 过阈。这类问题最忌讳乱猜乱改,我们用一台自制测试台(开发板烧同款特征前端与模型)把环节逐个排除:设备音频 dump 回灌 PC——满分,音频链路无罪;板端特征与训练前端逐值对拍——平均差 0.12,前端无罪;冷启动回放与 PC 逐值一致、现场真人喊话连续满分——芯片与模型无罪。剩下唯一变量:引擎的调用方式。同一段 PCM 三种喂法对照,正确喂法 12/19 命中、错误喂法 1/19,与设备实测排序完全吻合——定位收案。

根因很有代表性:引擎每 10ms 推理一次,喂的却是含 2 帧历史的滑动窗——同一帧被反复消费,模型的流式状态被「拖影」污染。修复也顺带赚了一笔:改成攒 3 个新帧、每 30ms 推理一次,判定层改为最近 5 次均值过阈——召回恢复的同时,推理 CPU 占用反降约三分之一。这不是个例:自研链路里「算法对、调用错」是最常见也最难定位的一类问题,测试台 + 对拍方法是通用解。

成本账:数据是工资,算力是电费

  • 训练全本地:消费级电脑跑一代模型数十分钟到数小时,无云端训练费;换词、加变体重训一轮的成本约等于一顿午饭
  • 模型 61KB:普通 MCU 的一个分区就装得下,不占用本就紧张的 Flash 预算
  • 唤醒在端侧:零调用费——对照 AI 定价账那篇的公式,端侧唤醒 + 云端对话的组合,把「每台设备每天必付」的第一环做成了免费
  • 真正贵的是纪律:每轮真实录音都要按录制协议来(环境音 / 唤醒词 / 干扰词三分类、停顿 1.5 秒、不破音),数据脏了模型就脏了

部署场景决定最后一批样本

这款设备的部署场景是嘈杂棋牌室:牌局交谈、设备运转噪声、洗牌拍桌的瞬态,而唤醒恰恰就发生在最吵的时候。代理场景(家里、办公室)录的样本再干净,也覆盖不了目标场景的声学画像。专项录制协议已经就位:场景底噪分钟级、嘈杂中喊词 35 条起步、干扰喊叫(「胡了」「该你了」)一并入库,外加一条隐私红线——只录自己这桌。样本到料后回炉一代,唤醒的最后一块拼图就齐了。

自定义唤醒词是数据工程与嵌入式工程的合订本,缺任何一环都会卡在「PC 全绿、真机装死」。想把品牌名做成唤醒词,把产品形态与部署场景发给我们:免费评估,1-3 天出全包报价,训练管线、测试台与验收标准写进方案。
ESP32 怎么听懂你说话:语音唤醒与 AI 对话的五个环节,一篇讲透 头图延伸阅读:ESP32 怎么听懂你说话(语音唤醒与 AI 对话的五个环节)AI 语音交互设备 头图案例:AI 语音交互设备(自定义唤醒词 + 双轨接入全链路交付)AI 硬件的定价账:大模型调用费怎么摊进售价,三种模式一次算清 头图延伸阅读:AI 硬件的定价账(端侧唤醒怎么省调用费)
分享给朋友:

有产品想智能化?

告诉我们您的需求,我们将在 24 小时内提供初步方案

免费获取方案