Transskribering offline på Mac: lokalt med Whisper
Nogle samtaler burde ikke streames nogen steder hen: en lægeaftale, en juridisk rådgivning, et bestyrelsesmøde før en offentliggørelse. For dem er spørgsmålet ikke, hvor god cloud-modellen er, men om lyden overhovedet behøver at forlade computeren. På en Mac med Apple silicon gør den ikke.
Hvad der kører lokalt
På en Mac med Apple silicon kan appen hente to modeller og køre dem på computeren: Whisper Large v3 Turbo til transskription og Qwen 3 8B til svar. Når de er hentet, kører de på selve Mac'en, til sessioner, hvis lyd ikke skal forlade lokalet.
Valget mellem cloud-behandling og lokale modeller træffes pr. anvendelse. En ugentlig stand-up og en samtale med en advokat kræver ikke samme behandling, og du behøver ikke vælge én til det hele.
Hvad der går hvorhen i hver tilstand
»Privat« bruges ofte upræcist, så det er værd at være nøjagtig.
- Cloud-session: lyden fra mikrofonen — og på Mac eventuelt systemlyd og den optagne skærm — streames til OpenAI's Realtime API for at lave transskriptionen og svarene. Vedhæftninger sendes som kontekst.
- Lokal session på Mac: de hentede modeller behandler lyd og tekst på computeren.
- I begge tilfælde gemmes transskriptioner, svar, sessioner, opgaver og noter på enheden, uden cloud-synkronisering.
- Appens backend gemmer konti, køb, kreditsaldo og brugsregistreringer. Den modtager og gemmer ikke lyd, transskriptioner, svar eller vedhæftninger.
Afvejningerne, ærligt
En model, der kan være på en bærbar, er mindre end en, der kører i et datacenter. Svarene fra en model med otte milliarder parametre rækker til meget — trække beslutninger ud, forklare et begreb, skrive udkast til en opfølgning — men til bred viden eller lange ræsonnementer er de mærkbart svagere end en stor cloud-model.
Downloadet fylder flere gigabyte, og modellerne bruger for alvor hukommelse og regnekraft, mens de kører. På en ny Mac med Apple silicon går det fint; på en ældre går det langsommere. Det er også derfor, det er en Mac-funktion: en telefon har ikke den luft.
På iPhone og iPad
De store lokale modeller findes kun på Mac. På iPhone og iPad kan transskriptionen stadig komme fra Apples talegenkendelse på enheden i stedet for fra OpenAI's modeller. Svarene kommer så stadig fra cloud-modellen: transskriptionen af dine ord sker på telefonen, hjælpen gør ikke.
Privat handler også om folk i lokalet
At holde lyden på computeren beskytter den mod tredjeparter. Det ændrer ikke på, at du fanger det, andre siger. De har ret til at vide det, og mange steder kræver loven det også — guiden om at optage og transskribere andre forklarer, hvad du skal sige.
Hvilke Mac-computere kan køre de lokale modeller?
Mac-computere med Apple silicon. Modellerne hentes én gang og kører på computeren; nyere Mac-computere er hurtigere.
Kører de lokale modeller på iPhone?
Nej. På iPhone og iPad kan transskriptionen komme fra Apples talegenkendelse på enheden, men den lokale svarmodel findes kun på Mac.
Ser appens servere nogensinde mine transskriptioner?
Nej. Backend håndterer konti, køb og kreditter; transskriptioner og svar gemmes på din enhed.
