Offline AI asistent na Macu: lokální modely bez internetu

Co lokální relace umí bez sítě

Lokální relace spouští obě poloviny asistenta na Macu. Whisper převádí to, co slyší mikrofon, na přepis a Qwen píše odpovědi, nebo překlad, když je zapnutý překlad. Žádný cloudový model se neúčastní, takže samotná práce nezávisí na síti: ani na hotelové Wi-Fi, která vypadává, ani na vlaku mezi stanicemi, ani na místnosti, kde zařízení nemají síť vůbec.

Tento návod je o práci bez připojení. Pokud je vaším důvodem pro lokální běh spíš soukromí — rozhovor, jehož zvuk nemá opustit místnost — tuto stránku věci popisuje návod k soukromému přepisu na Macu.

V lokální relaci můžete:

• Přepisovat: živý přepis toho, co slyší mikrofon.
• Dostávat odpovědi: odpovědi asistenta, jako text.
• Překládat: vždy jedním směrem, z jazyka v „Od“ do jazyka v „Komu“, jako text.
• Uchovat si ji: relace se ukládá na Macu jako každá jiná.

Co offline nefunguje

S lokálním modelem pro odpovědi nejsou dostupné přílohy, takže otázka k fotce nebo obrázku musí počkat, až budete zpátky online a v cloudové relaci.

Nic z toho neexistuje na iPhonu ani iPadu. Tam relace běží v cloudu a potřebují připojení k internetu; žádný offline režim, na který by se dalo spolehnout, tam není. Pokud budete potřebovat pomoc na telefonu někde bez signálu, naplánujte to předem.

Lokální modely také potřebují Mac s Apple silicon a macOS 26 nebo novější. To je stejný požadavek jako u samotné aplikace pro Mac.

Před cestou: stáhněte modely, dokud jste online

Modely nejsou součástí stažení aplikace. Stáhnete je jednou z Hugging Face v Nastavení aplikace a zůstanou na Macu. Dohromady mají několik gigabajtů, takže to udělejte doma nebo v kanceláři na dobrém připojení, ne na letištní Wi-Fi dvacet minut před nástupem.

1. Na Macu otevřete Nastavení aplikace a stáhněte Whisper Large v3 Turbo pro přepis a Qwen 3 8B pro odpovědi.
2. Nechte Mac vzhůru a připojený, dokud obě stahování neskončí.
3. Než relaci spustíte, zvolte pro ni lokální modely — Whisper pro poslech, Qwen pro odpovědi.
4. Klikněte na Zahájit relaci, řekněte pár vět, položte otázku a ověřte, že se objeví přepis i odpověď.
5. Pokud budete potřebovat překlad, klikněte na Přeložit, nastavte „Od“ a „Komu“ pro směr, který očekáváte, a ověřte jednu větu.
6. Klikněte na Ukončit relaci. Teď víte, že modely fungují; dalším krokem je vědět, že fungují i bez připojení.

Vyzkoušejte to jednou s vypnutou Wi-Fi

Zda se aplikace otevře a spustí relaci úplně bez připojení, si ověřte sami, na svém Macu, dřív, než na tom bude záležet. Trvá to pět minut a je mnohem lepší to zjistit u stolu než na sedadle v letadle.

1. Vypněte Wi-Fi a odpojte síťový kabel, pokud ho používáte.
2. Aplikaci úplně ukončete a znovu otevřete, aby se nic nepřeneslo z relace online.
3. Spusťte lokální relaci, minutu mluvte a položte otázku.
4. Ověřte, že se objeví přepis i odpověď, a pokud ho potřebujete, že se přeloží věta.
5. Ukončete relaci. Pokud si cokoli po cestě vyžádalo připojení, víte to teď, kdy s tím ještě můžete počítat.

K čemu se hodí v letadle, ve vlaku nebo v uzavřené místnosti

Model, který běží na notebooku, funguje nejlépe s tím, co mu dáte. Offline je to všechno, co máte: vaše vlastní slova, a pokud s někým mluvíte, i slova druhé strany.

• Promyslete nahlas plán, návrh nebo obtížný e-mail a nechte si ho vrátit jako strukturovanou osnovu.
• Nacvičte začátek prezentace, kterou budete mít po příletu, a zeptejte se, co by publikum chtělo vysvětlit.
• Přeložte pár vět jako text pro rozhovor, který vás čeká na druhém konci, vždy jedním směrem.
• Veďte živý přepis rozhovoru v místnosti, kde zařízení nemají síť, s tím, že to všem předem řeknete.
• Projděte problém krok za krokem, když není co dohledat.

V čem je model velikosti notebooku dobrý a v čem ne

Qwen 3 8B je dost malý, aby běžel na notebooku, o což jde, a je znatelně méně schopný než velký cloudový model. Dobře přeformulovává, strukturuje, na požádání vytáhne, co bylo rozhodnuto, vysvětluje běžné pojmy a překládá jednoduché věty. Slabší je ve specializovaných znalostech a dlouhých řetězcích uvažování.

Offline se navíc nemá jak ověřit. Jména, čísla, data a citace v jeho odpovědích berte jako věci k ověření, až budete zase online, a nespoléhejte na něj při zdravotních, právních ani finančních rozhodnutích.

Běh modelů si bere skutečnou paměť a výpočetní výkon, takže Mac pracuje víc než při běžných úlohách a baterie se vybíjí rychleji. Když můžete, připojte ho k napájení, zvlášť u dlouhé relace.

Kredity, soukromí a co zůstává na Macu

Lokální relace nečerpají kredity a nepoužívají cloud. Aplikace ke svému chodu stále potřebuje předplatné; lokální relace jen nečerpají z měsíčních kreditů, takže dlouhý let strávený rozhovorem s asistentem nestojí nic navíc.

Relace se ukládají na Macu, bez synchronizace s cloudem, takže co uděláte offline, se později neobjeví na iPhonu. Zpátky online fungují cloudové relace jako dřív, včetně příloh.

Pokud přepisujete jiné lidi, i v místnosti bez sítě, nejdřív jim to řekněte. Návod o nahrávání a přepisu jiných lidí vysvětluje, co říct.