语音键鼠的 BLE 旁路:用 ESP32 把指令发到手机,以及一次唤醒词降级

语音键鼠项目(EC600M-CNLE + CH9329 + ESP32 + 小智语音)的核心卖点是“对小智说一句话,电脑/手机自己动起来”。这篇讲硬件链路的另一种接法——HID 类设备怎么同时伸进电脑和手机,以及固件不争气时怎么兜底。

BLE旁路架构

一条 UART2,两路 HID

EC600M 通过 UART2 接 CH9329(UART 转 USB HID 芯片),CH9329 的 USB 插在电脑上,枚举出标准 HID 键盘 + 鼠标(VID 6666 / PID 1D63,设备管理器 Status=OK)——对电脑来说这就是个普通键鼠,不用装驱动。这条链路让“语音打字”“语音控制快捷键”落到电脑上。

但同时,同一套语音指令还想控手机。手机没有 USB HID 口,所以加了 ESP32 旁路做 BLE HID:EC600M 的 UART2 把动作报文也发给 ESP32,ESP32 以 BLE HID 设备身份连接手机,把“打字”“滑屏”送进手机。一个主控,两套 HID 输出,覆盖两个终端。

唤醒词降级:固件没有,就退回按键

语音入口原本设计成“唤醒词唤醒 → 说话 → 执行”。但实测烧的固件(XIAOZHI_OCPU_QPY_TEST0803)里 hasattr 查 ovkws/vad 是 False——芯片固件根本不带离线唤醒词和 VAD 模块。强行用唤醒词就是死等一个不存在的功能。

解决办法是自动降级纯按键:检测不到唤醒词能力时,启动流程直接切到“实体键触发”模式,按键按下即开始录音、松开即结束,功能完整不依赖云端唤醒。降级路径和正常路径共用同一套录音/识别/执行代码,只是入口从“等唤醒词”变成“等按键”。这种降级不是功能缩水,而是承认硬件边界:固件给什么能力就用什么,不给的绝不假设它有。

双通道 + 一个已知短板

设备端同时维持两条连接:小智 WebSocket 通道(实时语音/指令)和阿里云通道(物模型云控/OTA)。两条互不干扰,小智做实时交互,阿里云做远程管控,实测可共存。

但有一个诚实交代的短板:目前 MCP 的 tools/call 是在接收线程里同步执行的。这意味着执行一个长 type_text(几百字拆成几百帧发几分钟)时,TTS 播报会被堵住——你能听到 AI 说“我在打字”,但声音是卡的。正确解法已经明确:独立工作线程 + 队列,接收线程只解析入队,执行全回工作线程,项目里正在改。这个“回调/接收线程里干重活”的架构问题,在资源受限设备上特别常见,和相机项目那次“静默掉线”是同一个根(线程重入 + 重活在错误的地方)。

一句实话

目前板子上 CH9329 未实际焊接/上板,自检无应答属于预期状态。HID 链路和 BLE 旁路的逻辑都已跑通(ESP32 侧 + 设备端报文),等硬件到位即可闭环。串口速率账(一帧 14 字节、9600bps 物理上限 68.6 帧/秒、限速 10 指令/秒的取舍)在我上一批的键鼠延迟帖里算过,本文不重复。

感谢分享这段调试记录,过程描述清晰,尤其是 BLE 旁路双 HID 链路、唤醒词能力缺失时的自动降级思路,对遇到同类问题的伙伴很有参考价值。

本回答仅供参考。