Mac 离线 AI 助手:本地模型,不用联网
在搭载 Apple silicon 的 Mac 上,GPT Realtime Assistant 可以不用云端运行会话:Whisper Large v3 Turbo 负责转录,Qwen 3 8B 负责回答和翻译,全都在 Mac 本机上。两个模型只需在联网时从“设置”中下载一次,之后本地会话以文字形式工作,不消耗积分。在飞机上指望它之前,先关掉 Wi-Fi 完整试一次本地会话。
本地会话在没有网络时能做什么
本地会话在 Mac 上运行助手的两半。Whisper 把麦克风听到的内容变成转录文本,Qwen 写出回答,开启翻译时则写出译文。整个过程不涉及云端模型,所以工作本身不依赖网络:不怕酒店 Wi-Fi 掉线,不怕火车开到两站之间,也不怕在设备完全不能联网的房间里。
这篇指南讲的是没有网络时怎么用。如果你选择本地运行是出于隐私——对话的音频不应离开房间——关于在 Mac 上私密转录的指南讲的是那一面。
在本地会话中,你可以:
- 转录:麦克风听到的内容的实时转录文本。
- 回答:助手的回复,以文字形式。
- 翻译:一次一个方向,从“源语言”译成“目标语言”,以文字形式。
- 保存:会话和其他会话一样保存在 Mac 上。
离线时什么用不了
本地回答模型不支持附件,所以关于照片或图片的问题,要等你重新联网、回到云端会话中再问。
这一切在 iPhone 和 iPad 上都没有。在那里,会话在云端运行,需要联网;没有可以退而求其次的离线模式。如果你要在没有信号的地方用手机求助,出发前就要想好对策。
本地模型还需要搭载 Apple silicon、运行 macOS 26 或更高版本的 Mac。这和 Mac 版 App 本身的要求相同。
出发前:联网时下载模型
模型不包含在 App 的下载中。你要在 App 的“设置”中从 Hugging Face 下载一次,之后它们就留在 Mac 上。两个模型加起来有好几 GB,所以请在家里或办公室用好的网络下载,别在登机前二十分钟用机场 Wi-Fi 下。
- 在 Mac 上打开 App 的“设置”,下载用于转录的 Whisper Large v3 Turbo 和用于回答的 Qwen 3 8B。
- 让 Mac 保持唤醒和联网,直到两个下载都完成。
- 开始会话之前,为这次会话选择本地模型——Whisper 来听,Qwen 来回答。
- 点按“开始会话”,说几句话、问一个问题,确认转录文本和回答都会出现。
- 如果你会用到翻译,点按“翻译”,按预计的方向设置“源语言”和“目标语言”,检查一句话。
- 点按“结束”。现在你知道模型能用了;下一步是确认它们在没有网络时也能用。
关掉 Wi-Fi 试一次
在完全没有网络的情况下,App 能不能打开并开始会话,需要你在自己的 Mac 上、在它真正要紧之前亲自确认。只需要五分钟,在办公桌前发现问题,远比在飞机座位上发现好。
- 关掉 Wi-Fi,拔掉所有网线。
- 完全退出 App 再重新打开,确保没有沿用联网时会话的任何东西。
- 开始一次本地会话,说一分钟话,再问一个问题。
- 确认转录文本和回答都出现了;如果需要,再确认有一句话被翻译了。
- 结束会话。如果过程中有任何地方要求联网,你现在就知道了,还来得及想办法。
在飞机上、火车上或封闭房间里的好用法
能在笔记本电脑上运行的模型,最擅长处理你给它的东西。离线时,你有的就是这些:你自己的话,以及如果你在和别人交谈,对方的话。
- 把一个计划、一份提案或一封难写的邮件边想边说出来,让它整理成有条理的提纲。
- 排练你到达后要做的演讲的开场,问问听众会希望解释些什么。
- 为另一头等着你的对话,以文字形式翻译几句话,一次一个方向。
- 在设备不能联网的房间里,为一场对话保留实时转录文本,并事先告知所有人。
- 在没有东西可查的时候,一步步把一个问题想清楚。
笔记本电脑大小的模型擅长什么、不擅长什么
Qwen 3 8B 小到能在笔记本电脑上运行,这正是重点,但它明显不如大型云端模型。它擅长改写、梳理结构、在你要求时提炼出做了哪些决定、解释常见概念,以及翻译简单的句子。它在专业知识和长链推理上较弱。
离线时,它也没有办法自我核实。把它回答中的人名、数字、日期和引语当作重新联网后要核实的内容,也不要依赖它做医疗、法律或财务决定。
运行这些模型会实打实地占用内存和算力,所以 Mac 会比处理日常任务时更吃力,电池也掉得更快。能插电就插电,尤其是长时间的会话。
积分、隐私,以及留在 Mac 上的东西
本地会话不消耗积分,也不使用云端。App 本身仍需订阅才能运行;本地会话只是不动用每月的积分,所以一趟长途飞行中和助手聊个不停,也不会多花钱。
会话保存在 Mac 上,没有云同步,所以你离线时做的事,之后不会出现在 iPhone 上。重新联网后,云端会话照常工作,包括附件。
如果你要转录别人说的话,即使是在没有网络的房间里,也要先告诉他们。关于录制和转录他人对话的指南会说明该说什么。
在 iPhone 或 iPad 上能离线用吗?
不能。在 iPhone 和 iPad 上,会话在云端运行,需要联网。本地模型适用于搭载 Apple silicon 的 Mac。
哪些 Mac 能离线运行?
搭载 Apple silicon、运行 macOS 26 或更高版本的 Mac,并在“设置”中下载过一次 Whisper Large v3 Turbo 和 Qwen 3 8B。
离线时会消耗积分吗?
不会。本地会话不消耗积分,也不使用云端。使用 App 仍需订阅。
本地会话能附加图片吗?
不能。本地回答模型不支持附件,所以关于图片的问题需要在联网的云端会话中提问。
