语音控制 AI 相机(EC600M-CNLE + GC032A + 小智语音 + MQTT + 视觉 API + 网页监控)最有意思的不是拍照本身,而是“一句人话怎么变成设备上的一个动作”。这篇把整套 MCP 工具集和语音链路拆开讲,重点说清楚一个设计取舍:设备端只做执行器,JSON-RPC 的复杂度全部丢给云端桥。

一条语音指令的旅程
按住 PTT 说话,到喇叭说出“已为你拍好”,中间走的是这条链:
按住 PTT 说话
→ 板端 Opus 60kbps 录音上传
→ 小智平台 STT(语音转文字)+ LLM(理解意图)
→ LLM 看到 tools 列表里有 camera.take_photo
→ 决定调用 → MCP call 消息经 WebSocket 下发到设备
→ 设备端触发拍照 → 入队上传 → 回执回云端
→ 云端 TTS:“已为你拍好”
设备端不做完整的 MCP Server,不做 LLM 推理,只实现一个动作执行器:收到 JSON-RPC 风格的指令,跑对应的本地能力,把结果回传。JSON-RPC 的握手、鉴权、tools 描述这些复杂度全在云端桥(xiaozhi-mcp-bridge)里。这个分工让设备端代码量可控,也避免了在 576KB 的 /usr 分区里塞一个解释器。
14 个 MCP 工具(LLM 可调用的能力清单)
设备端对外暴露的能力,按用途分了四类,合计 14 个:
| 类别 | 工具举例 |
|---|---|
| 拍摄类 | take_photo 拍照、record_video 录像、timed_shot 定时拍 |
| 识别类 | scan_qr 扫码、vision_analyze 视觉分析、目标检测 |
| 外设类 | camera_toggle_led 补光灯、scan_led_gpio 诊断、buzzer 蜂鸣 |
| 系统类 | reset 重启、get_status 状态查询、set_config 配置、ota 升级 |
LLM 通过 tools 的 inputSchema 决定怎么填参数。这里有个文档不会写的坑:tools 定义里 inputSchema 写成空 dict {},LLM 的 schema 校验器会把顶层推断成 null,报 Invalid schema for function ... schema must be 'type: object', got 'type: null'。必须显式写 "inputSchema": {"type": "object", "properties": {}}。这种错误只有 LLM 的报错信息会告诉你。
三通道并存:照片走 EMQX+Gitee,属性走阿里云
设备端同时跑三套上行/下行通道,各有分工:
- EMQX:公网 MQTT broker,承载照片、视频流这类大块数据;
- 阿里云 IoT:物模型的
property/set、RRPC 指令,走平台规约的下发主题; - Gitee:原始照片归档,回传 raw 链接给网页监控端取用。
照片不走阿里云——物模型报文对负载大小有限制,塞一张图进去不现实,所以大文件走 EMQX + Gitee,只有状态/指令这类小数据走阿里云。这个分流是在踩过负载超限之后定的。
两个容易忽略的设备端细节
① LCD 必须初始化,否则拍照没有回调。 GC032A 走 SPI,但 QuecPython 的 camCapture 在 AI 固件上 open() 即开启预览流,而预览依赖 LCD 驱动。如果跳过了 lcd_init(),拍照回调永远不触发,表现是“拍照命令发出去了但文件没生成”。项目里把 LCD 初始化序列固化在 camera_srv.py,开机必跑。
② _main.py 自启垫片。 固件上电只自动执行 /usr/main.py。调试期为了不抢 REPL,入口用下划线开头的 _main.py,但它不自启——一旦 OTA 重启后板上只剩 _main.py,结果就是 reboot 走 powerRestart 后 LCD 冻结、程序没起来。解决办法是加一个两行的 main.py 垫片去 example.exec('/usr/_main.py')。由此也得出一条铁律:OTA 包必须包含 main.py,否则重启即变砖。
卡死防护(工具集视角补充)
工具集跑在没人看的设备上,每帧 ≥5s 判超时、free RAM <200KB 主动跳帧、<120KB 结束会话、帧上传成功立即删本地文件。工具调用路径上也遵守同一条铁律:回调线程只解析、入队、置标志,重活回主循环——在 MQTT 回调里直接调视觉 API 曾导致与心跳线程重入同一 socket、线程静默死亡(细节见我上一批的相机稳定性帖)。