Hey Jarvis 的困难 II：从 Demo 到 Mac 产品

Thu, 13 Aug 2026 14:08:41 +0800

在上一篇里，我写了 Hey Jarvis 怎样处理确认音、回声、打断和麦克风交接。

当这些能力在终端和浏览器里跑通时，我一度觉得产品最困难的部分已经完成了。

后来我才意识到，那只是证明了一条语音流程可以工作。

一个 Demo 只需要在我准备好的环境里成功一次。一个产品则必须面对第一次安装、权限拒绝、窗口切换、电脑锁屏、系统睡眠、子进程崩溃和应用退出。它不但要成功，还要在无法成功时停在一个安全、诚实、可以恢复的状态。

Demo 证明一件事能发生。产品必须决定其他所有事情发生时怎么办。

产品化不是给 Python 加一个窗口链接到标题

最早的 Hey Jarvis 由 Python 启动。Realtime 模式还需要打开一个 Chrome 页面，让浏览器负责 WebRTC 的麦克风和语音播放。

这个结构适合开发，因为每一层都可以单独观察和调试。但如果把它直接包装成一个窗口，很多只存在于我电脑里的前提仍然没有消失：

系统里已经安装了正确版本的 Python 和依赖；
项目目录和 .env 文件位于预期位置；
Chrome 页面没有被重复打开；
API Key 可以由开发环境读取；
进程异常时，我知道应该去哪里看日志和怎样重新启动。

这些都不是产品应该交给使用者理解的事情。

在正式搭建 Mac App 之前，我先做了一个完全隔离的 Tauri 实验。它只回答一个问题：WKWebView 能不能在真实的 Apple Silicon Mac 上完成麦克风授权、Realtime 播放、自然打断、媒体释放，以及把麦克风还给 Python？

实验成功以后，我没有继续在这份实验代码上追加功能，而是重新建立产品自己的应用外壳。

这个选择看起来多走了一步，却帮我区分了两个很不一样的问题：

实验：这条技术路线可不可行？
产品：它能否保护秘密、正确失败、恢复运行，并在另一台电脑上重现？

三种运行环境，三种责任链接到标题

最终的 Hey Jarvis Mac App 分成三部分：

我做了一个 Hey Jarvis：从睡前的一个问题开始

Thu, 13 Aug 2026 13:55:06 +0800

我和老婆晚上睡觉前经常会聊天。

有时候聊的是一天里发生的事情，有时候会从一件小事跳到历史、科技、健康或者某个我们突然想到的知识点。聊着聊着，总会遇到一些我们都不知道、但又很想马上知道答案的问题。

这时候，最自然的动作本来应该是直接问一句。

但现实里的动作通常是：伸手去找手机，解锁，打开一个应用，点进输入框，再把刚才的问题重新组织一遍。等答案出现时，原来的聊天已经被打断了。

语音助手本来应该最适合这个场景。可我真正想问的问题，Siri 经常回答不了；而更聪明的 AI，又往往住在一个需要主动打开的窗口里。

我想要的其实很简单：

躺在床上说一句 “Hey Jarvis”，它就能加入我们的对话，回答刚才的问题。

于是我开始做 Hey Jarvis。

功能演示：中文版：让 Siri 级别的唤醒接上 ChatGPT

项目与下载：

第一个版本，其实很快就能工作链接到标题

Hey Jarvis 的第一版是一条很直接的 Pipeline，也就是一条串行语音处理流程：

本地等待 “Hey Jarvis”
→ 播放一句确认音
→ 录下问题
→ 把语音转成文字
→ 让模型生成答案
→ 把答案转成语音并播放
→ 回到唤醒状态

从功能定义上说，做到这里已经实现了最初的需求。

我不需要拿起手机。只要说出唤醒词，再问一个问题，它就会把答案讲出来。为了避免所有声音一直上传，唤醒词检测在本地完成；只有被唤醒之后录下的问题，才会进入后面的 AI 流程。

我还给它加了一些确定性的工具。时间和计算可以在本地完成；天气、汇率和股票价格由明确的数据提供方返回。对于这些会随时间变化的问题，我不希望模型凭记忆猜一个听起来很像真的答案。

如果目标只是做一段功能演示，项目大概已经可以停在这里。

但当我真的开始使用它，我发现：能够用语音问 AI，与拥有一个语音助手，并不是同一件事。

Pipeline 能回答问题，但它还不会对话链接到标题

第一版更像一个由语音启动的命令行程序。

我问完一个问题，它录音、思考、播放答案，然后整段交互结束。想继续追问，就要再说一次 “Hey Jarvis”。如果回答说得太长，我不能像人与人聊天一样插话；我只能等它讲完。

人与人对话时，我们很少意识到自己在做这些事情：

听到对方回应后，知道他已经准备好听了；
在对方说话时插入一句，对方会停下来；
用“那明天呢”继续追问，而不必重新交代上下文；
聊完说一句“再见”，双方都知道对话结束了。

这些在人类交流中近乎本能的行为，到了软件里都会变成明确的状态、事件和边界。

Product-Engineering on Armstrong Yan

Hey Jarvis 的困难 II：从 Demo 到 Mac 产品

产品化不是给 Python 加一个窗口 链接到标题

三种运行环境，三种责任 链接到标题

我做了一个 Hey Jarvis：从睡前的一个问题开始

第一个版本，其实很快就能工作 链接到标题

Pipeline 能回答问题，但它还不会对话 链接到标题

产品化不是给 Python 加一个窗口链接到标题

三种运行环境，三种责任链接到标题

第一个版本，其实很快就能工作链接到标题

Pipeline 能回答问题，但它还不会对话链接到标题