Přepis řeči offline na Macu: soukromě, s Whisperem
Některé rozhovory by se neměly nikam streamovat: návštěva u lékaře, právní konzultace, zasedání představenstva před oznámením. U nich není otázkou, jak dobrý je cloudový model, ale zda zvuk vůbec musí opustit počítač. Na Macu s Apple silicon nemusí.
Co běží lokálně
Na Macu s Apple silicon může aplikace stáhnout dva modely a spouštět je v počítači: Whisper Large v3 Turbo pro přepis a Qwen 3 8B pro odpovědi. Po stažení běží přímo na Macu, pro relace, jejichž zvuk nemá opustit místnost.
Volba mezi cloudovým zpracováním a lokálními modely se dělá podle použití. Týdenní stand-up a konzultace s advokátkou nevyžadují stejné zacházení a nemusíte volit jedno pro všechno.
Co kam jde v jednotlivých režimech
Slovo „soukromý“ se často používá nepřesně, proto je dobré být konkrétní.
- Cloudová relace: zvuk z mikrofonu — a na Macu volitelně systémový zvuk a zachycená obrazovka — se streamuje do Realtime API od OpenAI, aby vznikl přepis a odpovědi. Přílohy se posílají jako kontext.
- Lokální relace na Macu: stažené modely zpracovávají zvuk a text v počítači.
- V obou případech se přepisy, odpovědi, relace, úkoly a poznámky ukládají v zařízení, bez synchronizace s cloudem.
- Backend aplikace uchovává účty, nákupy, zůstatek kreditů a záznamy o využití. Zvuk, přepisy, odpovědi ani přílohy nepřijímá ani neukládá.
Kompromisy, upřímně
Model, který se vejde do notebooku, je menší než model běžící v datovém centru. Odpovědi modelu s osmi miliardami parametrů stačí na mnoho věcí — vytáhnout rozhodnutí, vysvětlit pojem, navrhnout navazující e-mail — ale u širokých znalostí nebo dlouhého uvažování jsou znatelně slabší než velký cloudový model.
Stahování má několik gigabajtů a modely za běhu opravdu využívají paměť a výpočetní výkon. Na novém Macu s Apple silicon je to v pořádku; na starším je to pomalejší. I proto je to funkce Macu: telefon na to nemá rezervu.
Na iPhonu a iPadu
Velké lokální modely jsou jen na Macu. Na iPhonu a iPadu může přepis i tak zajistit rozpoznávání řeči od Applu v zařízení místo modelů OpenAI. Odpovědi pak ale dál přicházejí z cloudového modelu: přepis vašich slov vzniká v telefonu, pomoc ne.
Soukromí se týká i lidí v místnosti
Když zvuk zůstane v počítači, je chráněný před třetími stranami. Nemění to ale fakt, že zachycujete, co říkají jiní. Mají právo to vědět a na mnoha místech to vyžaduje i zákon — návod o nahrávání a přepisu jiných lidí vysvětluje, co říct.
Na kterých Macích lokální modely běží?
Na Macích s Apple silicon. Modely se stáhnou jednou a běží v počítači; novější Macy jsou rychlejší.
Běží lokální modely na iPhonu?
Ne. Na iPhonu a iPadu může přepis zajistit rozpoznávání řeči od Applu v zařízení, ale lokální model odpovědí je jen na Macu.
Vidí servery aplikace někdy moje přepisy?
Ne. Backend spravuje účty, nákupy a kredity; přepisy a odpovědi se ukládají ve vašem zařízení.
