KI offline auf dem Mac nutzen: lokale Modelle ohne Internet

Was eine lokale Sitzung ohne Netz tut

Eine lokale Sitzung führt beide Hälften des Assistenten auf dem Mac aus. Whisper macht aus dem, was das Mikrofon hört, ein Transkript, und Qwen schreibt die Antworten – oder die Übersetzung, wenn die Übersetzung eingeschaltet ist. Kein Cloud-Modell ist beteiligt, die Arbeit selbst hängt also nicht vom Netz ab: nicht vom Hotel-WLAN, das abbricht, nicht vom Funkloch im Zug zwischen zwei Bahnhöfen, nicht von einem Raum, in dem Geräte gar kein Netz haben.

In dieser Anleitung geht es ums Arbeiten ohne Verbindung. Geht es Ihnen bei lokalen Modellen eher um Datenschutz – ein Gespräch, dessen Ton den Raum nicht verlassen soll –, erklärt die Anleitung zur Offline-Transkription auf dem Mac diese Seite.

In einer lokalen Sitzung können Sie:

• Transkribieren: ein Live-Transkript dessen, was das Mikrofon hört.
• Antworten bekommen: die Antworten des Assistenten, als Text.
• Übersetzen: jeweils in eine Richtung, aus der Sprache bei „Von“ in die Sprache bei „Nach“, als Text.
• Behalten: Die Sitzung wird auf dem Mac gespeichert, wie jede andere.

Was offline nicht funktioniert

Anhänge gibt es mit dem lokalen Antwortmodell nicht; eine Frage zu einem Foto oder Bild muss also warten, bis Sie wieder online und in einer Cloud-Sitzung sind.

Nichts davon gibt es auf iPhone oder iPad. Dort laufen Sitzungen in der Cloud und brauchen eine Internetverbindung; einen Offline-Modus als Rückfallebene gibt es nicht. Brauchen Sie unterwegs ohne Empfang Hilfe auf dem Telefon, planen Sie das, bevor Sie losfahren.

Die lokalen Modelle brauchen außerdem einen Mac mit Apple Silicon und macOS 26 oder neuer. Das ist dieselbe Voraussetzung wie für die Mac-App selbst.

Vor der Abreise: Modelle online herunterladen

Die Modelle sind nicht Teil des App-Downloads. Sie laden sie einmal von Hugging Face in den Einstellungen der App, und sie bleiben auf dem Mac. Zusammen sind sie mehrere Gigabyte groß; erledigen Sie das also zu Hause oder im Büro mit guter Verbindung, nicht im Flughafen-WLAN zwanzig Minuten vor dem Boarding.

1. Öffnen Sie auf dem Mac die „Einstellungen“ der App und laden Sie Whisper Large v3 Turbo für die Transkription und Qwen 3 8B für die Antworten herunter.
2. Lassen Sie den Mac wach und verbunden, bis beide Downloads abgeschlossen sind.
3. Wählen Sie für eine Sitzung die lokalen Modelle – Whisper zum Zuhören, Qwen zum Antworten –, bevor Sie sie starten.
4. Klicken Sie auf „Sitzung starten“, sagen Sie ein paar Sätze, stellen Sie eine Frage und prüfen Sie, ob Transkript und Antwort erscheinen.
5. Brauchen Sie Übersetzung, klicken Sie auf „Übersetzen“, stellen „Von“ und „Nach“ für die erwartete Richtung ein und prüfen einen Satz.
6. Beenden Sie die Sitzung. Jetzt wissen Sie, dass die Modelle funktionieren; als Nächstes finden Sie heraus, ob sie auch ohne Verbindung funktionieren.

Einmal mit ausgeschaltetem WLAN ausprobieren

Ob die App ganz ohne Verbindung startet und eine Sitzung beginnt, sollten Sie selbst prüfen, auf Ihrem eigenen Mac, bevor es darauf ankommt. Das dauert fünf Minuten, und es ist viel besser, es am Schreibtisch herauszufinden als auf Ihrem Platz im Flugzeug.

1. Schalten Sie das WLAN aus und ziehen Sie ein eventuelles Netzwerkkabel ab.
2. Beenden Sie die App vollständig und öffnen Sie sie erneut, damit nichts aus der Online-Sitzung übernommen wird.
3. Starten Sie eine lokale Sitzung, sprechen Sie eine Minute lang und stellen Sie eine Frage.
4. Prüfen Sie, ob Transkript und Antwort beide erscheinen und, falls Sie es brauchen, ob ein Satz übersetzt wird.
5. Beenden Sie die Sitzung. Hat unterwegs irgendetwas nach einer Verbindung verlangt, wissen Sie es jetzt, solange Sie noch umplanen können.

Gute Einsätze im Flugzeug, im Zug oder in einem abgeschotteten Raum

Ein Modell, das auf einem Laptop läuft, arbeitet am besten mit dem, was Sie ihm geben. Offline ist das genau das, was Sie haben: Ihre eigenen Worte, und die der anderen Person, wenn Sie mit jemandem sprechen.

• Einen Plan, ein Angebot oder eine schwierige E-Mail laut durchdenken und als gegliederte Übersicht zurückbekommen.
• Den Einstieg einer Präsentation proben, die Sie nach der Ankunft halten, und fragen, was ein Publikum erklärt haben möchte.
• Ein paar Sätze als Text für das Gespräch übersetzen, das am Ziel wartet, jeweils in eine Richtung.
• Ein Live-Transkript eines Gesprächs in einem Raum führen, in dem Geräte kein Netz haben – nachdem alle Bescheid wissen.
• Ein Problem Schritt für Schritt durcharbeiten, wenn es nichts nachzuschlagen gibt.

Was ein Modell in Laptopgröße gut kann – und was nicht

Qwen 3 8B ist klein genug für einen Laptop, genau darum geht es, und spürbar weniger leistungsfähig als ein großes Cloud-Modell. Es ist gut im Umformulieren und Gliedern, darin, auf Nachfrage herauszuziehen, was beschlossen wurde, gängige Konzepte zu erklären und einfache Sätze zu übersetzen. Schwächer ist es bei Spezialwissen und langen Gedankenketten.

Offline kann es sich außerdem nicht selbst überprüfen. Behandeln Sie Namen, Zahlen, Daten und Zitate in seinen Antworten als etwas, das Sie prüfen, sobald Sie wieder online sind, und verlassen Sie sich bei medizinischen, rechtlichen oder finanziellen Entscheidungen nicht darauf.

Die Modelle brauchen spürbar Arbeitsspeicher und Rechenleistung; der Mac arbeitet also härter als bei gewöhnlichen Aufgaben, und der Akku leert sich schneller. Schließen Sie ihn an, wenn Sie können, besonders bei einer langen Sitzung.

Credits, Datenschutz und was auf dem Mac bleibt

Lokale Sitzungen verbrauchen keine Credits und keine Cloud. Die App braucht trotzdem ihr Abo; lokale Sitzungen greifen nur nicht auf die monatlichen Credits zu, sodass ein langer Flug im Gespräch mit dem Assistenten nichts extra kostet.

Sitzungen werden auf dem Mac gespeichert, ohne Cloud-Synchronisation; was Sie offline tun, erscheint später also nicht auf Ihrem iPhone. Wieder online, funktionieren Cloud-Sitzungen wie gewohnt, Anhänge eingeschlossen.

Transkribieren Sie andere Menschen, sagen Sie es ihnen vorher, auch in einem Raum ohne Netz. Die Anleitung zum Aufnehmen und Transkribieren anderer Menschen erklärt, was Sie sagen sollten.