智能家居
AI 语音交互设备
自定义唤醒词 + MQTT/UDP 双轨接入的全链路自研
自研唤醒词 61KB唤醒引擎 CPU 降 1/3UDP 音频链路零丢包

方案示意

* 方案示意图,非实拍;实际交付形态以项目为准。
客户背景
客户的智能设备采用开源小智语音方案(ESP32-S3),部署在棋牌室门店,语音宿主是集照明、抽风与 PM2.5 监测于一体的智能吸烟灯。对话链路能跑,但三个问题卡住量产——唤醒词只有公版「你好小智」,品牌无法沉淀;语音服务在第三方公共服务器上,对话数据不归自己;棋牌室环境嘈杂,公版唤醒词时灵时不灵。客户要三件事:品牌专属唤醒词、数据自有、量产级稳定。我们承担了唤醒词训练、设备端唤醒引擎修复、MQTT+UDP 双轨接入与服务端/App 全链路交付。
面临挑战
- 1唤醒词是语音产品的「名字」,公版词承载不了品牌,也无法做专属的唤起体验
- 2部署场景是嘈杂棋牌室:牌局交谈、洗牌码牌、设备运转噪声叠加,误唤醒与漏唤醒同时被放大——PC 测试集 97.7% 的召回代表不了真机表现
- 3自训练模型上板后分数远低于 PC 对拍:音频链路、特征前端、引擎调用层层存疑,不逐环节排除就没法定案
- 4语音对话的音频流要自己扛:传输时序、逐包加密、打断时序、按量计费,每一环都影响体验与成本
解决方案
- 1本地训练管线:开源 microWakeWord 架构,TTS 语料 5,250 条(7 个唤起变体 × 3 音色)+ 真人录音增量,与困难负样本、环境负样本严格配平,产出 61KB int8 流式模型,测试集召回 97.7%
- 2多 seed 批量选种:同一配方连训 5 个随机种子,连续流误报指标最大相差 4 倍——训练方差用批量抽签对冲,只发布全口径复核通过的种子
- 3自建板级测试台:开发板烧录同款特征前端与模型,冷启动回放与 PC 逐值一致、现场真人喊话满分、同一段 PCM 三种调用模式对照(正确喂帧 12/19 命中 vs 错误喂帧 1/19)——三重证据把问题钉在引擎调用方式
- 4引擎修复:每 10ms 滑动喂帧改为攒 3 个新帧每 30ms 推理一次,判定层改为最近 5 次均值过阈——唤醒召回恢复,推理 CPU 占用反降约 1/3
- 5MQTT + UDP 双轨接入:控制信令走 MQTT(TLS 加密),语音流走 UDP(Opus 60ms 帧,AES-128-CTR 逐包加密);服务端节奏器 60ms 匀速下发,真机零丢包零乱序
- 6服务端全链路:语音会话(识别→大模型→合成全流式)、设备状态/计量/故障/事件上报落库、设备影子与能力注册、App 控制通道;识别按音频时长计费,VAD 门控后真实推送占比约 17%
技术架构
硬件
ESP32-S3 + I2S 数字麦克风 + ES 系列 Codec
唤醒
microWakeWord int8 流式模型(61KB),TFLite Micro + ESP-NN 板端推理
通信
MQTT over TLS 承载信令,UDP 承载加密音频流(AES-128-CTR)
云端
语音服务(会话 / 识别 / 大模型 / 合成 / 节奏器)+ 业务平台(上报四表 / 影子 / OTA)
App
设备绑定与状态影子展示,控制指令经 MCP 工具通道下发
交付功能清单
自定义唤醒词训练管线
- 唤起变体与语料设计:7 个唤起变体 × 3 音色,TTS 生成 5,250 条正样本
- 真人录音增量入库:VAD 自动切分、污染过滤,男声 / 女声分批泛化
- 负样本体系:困难样本挖掘回炉、部署环境底噪、同音干扰词——真人录音必须与环境负样本配平
- 双口径验收:隔离单测 + 连续流(不重置状态)分开读,连续流不过关不打包
- 多 seed 批量训练选种,冠军种子全口径复核后发布
设备端唤醒引擎
- int8 流式模型 61KB,输入 [1,3,40] 特征每 30ms 推理一次,TFLite Micro + ESP-NN
- 板级测试台:冷启动回放与 PC 逐值一致(前端 int8 平均差 0.12),CRC32 校验模型版本
- 判定层:最近 5 次均值 ≥ 0.90 触发,冷却窗口防连触
- 推理节奏修复:10ms 滑动喂帧 → 30ms 攒新帧推理,CPU 占用降约 1/3
MQTT + UDP 双轨链路
- MQTT over TLS 承载会话信令与控制指令,OTA 下发切换、白名单灰度、可随时回滚
- UDP 音频流:Opus 60ms 帧,AES-128-CTR 逐包加密,16 字节包头即 IV
- 服务端节奏器 60ms 匀速下发——设备端零缓冲全速收包,节奏失控必丢包(真机两轮实锤)
- 打断与排空:合成停止指令等音频排空后再下发,消除「提前停止」超车
- 在线判定:消息总线事件直订 + 连接回调两层事件驱动,告警防重
设备管理与体验
- 语音控制落地:照明 / 风机档位 / 自动模式即说即执行,PM2.5 与功率计量实时上报
- 设备上报四表:状态快照(幂等覆盖)/ 计量时序(30s 周期)/ 故障边沿 / 一次性事件
- 能力上报:握手拉取设备工具清单,云端能力注册表驱动 App 控件动态渲染
- 设备影子:上报状态映射数据点键实时同步,App 控制经工具通道下发并回写影子
- 识别计费门控:仅收听态推流 + 端侧 VAD 门控,真实计费音频占比约 17%
客户评价
唤醒词是自己的,数据是自己的,连每个分数都是可解释的——测试台把 PC 与板端逐值对上,这种交付方式让我们第一次觉得语音是「可控」的。
分享给朋友: