Trợ lý AI offline trên Mac: mô hình cục bộ, không cần mạng

Phiên cục bộ làm được gì khi không có mạng

Phiên cục bộ chạy cả hai nửa của trợ lý trên Mac. Whisper biến những gì micro nghe thành bản ghi, và Qwen viết câu trả lời, hoặc bản dịch khi tính năng dịch đang bật. Không có mô hình đám mây nào tham gia, nên bản thân công việc không phụ thuộc vào mạng: không vào Wi-Fi khách sạn chập chờn, không vào chuyến tàu đang chạy giữa hai ga, không vào căn phòng nơi thiết bị không được nối mạng.

Hướng dẫn này nói về việc làm việc khi không có kết nối. Nếu lý do bạn chạy cục bộ là quyền riêng tư — một cuộc trò chuyện mà âm thanh không nên ra khỏi phòng — thì hướng dẫn chuyển giọng nói thành văn bản riêng tư trên Mac nói về khía cạnh đó.

Trong phiên cục bộ, bạn có thể:

• Ghi lời: bản ghi trực tiếp những gì micro nghe được.
• Trả lời: câu trả lời của trợ lý, dưới dạng văn bản.
• Dịch: mỗi lúc một chiều, từ ngôn ngữ ở mục “Từ” sang ngôn ngữ ở mục “Đến”, dưới dạng văn bản.
• Lưu lại: phiên được lưu trên Mac, như mọi phiên khác.

Những gì không dùng được offline

Tệp đính kèm không dùng được với mô hình trả lời cục bộ, nên câu hỏi về một bức ảnh hay hình ảnh phải chờ đến khi bạn có mạng trở lại và ở trong phiên đám mây.

Trên iPhone và iPad không có gì trong số này. Ở đó, phiên chạy trên đám mây và cần kết nối internet; không có chế độ offline để dự phòng. Nếu bạn cần trợ giúp trên điện thoại ở nơi không có sóng, hãy tính trước khi đi.

Các mô hình cục bộ cũng cần Mac dùng Apple silicon và macOS 26 trở lên. Đó cũng là yêu cầu của chính ứng dụng Mac.

Trước khi đi: tải mô hình khi đang có mạng

Các mô hình không nằm trong gói tải ứng dụng. Bạn tải chúng một lần, từ Hugging Face, trong Cài đặt của ứng dụng, và chúng ở lại trên Mac. Cộng lại chúng chiếm vài gigabyte, nên hãy tải ở nhà hoặc ở văn phòng với kết nối tốt, đừng tải bằng Wi-Fi sân bay hai mươi phút trước giờ lên máy bay.

1. Mở Cài đặt của ứng dụng trên Mac và tải Whisper Large v3 Turbo để ghi lời, và Qwen 3 8B để trả lời.
2. Để Mac thức và có kết nối cho đến khi cả hai lượt tải xong.
3. Chọn các mô hình cục bộ cho phiên — Whisper để nghe, Qwen để trả lời — trước khi bắt đầu.
4. Nhấp Bắt đầu phiên, nói vài câu và hỏi một câu, rồi kiểm tra xem bản ghi và câu trả lời có hiện ra không.
5. Nếu sẽ cần dịch, nhấp Dịch, đặt “Từ” và “Đến” theo chiều bạn dự kiến, và kiểm tra một câu.
6. Nhấp Kết thúc phiên. Giờ bạn biết các mô hình hoạt động; bước tiếp theo là biết chúng hoạt động khi không có kết nối.

Thử một lần với Wi-Fi tắt

Ứng dụng có mở và bắt đầu phiên được khi hoàn toàn không có kết nối hay không là điều nên tự kiểm tra, trên chính chiếc Mac của bạn, trước khi nó trở nên quan trọng. Việc này mất năm phút, và phát hiện ra ở bàn làm việc tốt hơn nhiều so với ở ghế trên máy bay.

1. Tắt Wi-Fi và rút mọi cáp mạng.
2. Thoát hẳn ứng dụng rồi mở lại, để không có gì được mang sang từ phiên có mạng.
3. Bắt đầu một phiên cục bộ, nói trong một phút, và hỏi một câu.
4. Kiểm tra xem bản ghi và câu trả lời đều hiện ra, và nếu cần, một câu có được dịch không.
5. Kết thúc phiên. Nếu có bước nào đòi kết nối, giờ bạn đã biết, trong lúc vẫn còn kịp tính cách khác.

Dùng tốt trên máy bay, trên tàu hay trong phòng kín

Một mô hình chạy trên laptop làm tốt nhất với những gì bạn đưa cho nó. Khi offline, đó là thứ bạn có: lời của chính bạn, và của người kia nếu bạn đang nói chuyện với ai đó.

• Nghĩ thành tiếng về một kế hoạch, một đề xuất hay một email khó viết, rồi nhờ nó trả lại thành một dàn ý có cấu trúc.
• Tập phần mở đầu của bài thuyết trình bạn sẽ trình bày khi đến nơi, và hỏi khán giả sẽ muốn được giải thích điều gì.
• Dịch vài câu dưới dạng văn bản cho cuộc trò chuyện đang chờ ở đầu bên kia, mỗi lúc một chiều.
• Ghi lời trực tiếp một cuộc trò chuyện trong căn phòng nơi thiết bị không được nối mạng, sau khi đã báo cho mọi người.
• Giải quyết một vấn đề từng bước khi chẳng có gì để tra cứu.

Mô hình cỡ laptop giỏi gì, và không giỏi gì

Qwen 3 8B đủ nhỏ để chạy trên laptop, và đó chính là mục đích, nhưng nó kém hơn rõ rệt so với một mô hình đám mây lớn. Nó giỏi diễn đạt lại, sắp xếp ý, rút ra những gì đã được quyết định khi bạn hỏi, giải thích các khái niệm phổ biến và dịch những câu đơn giản. Nó yếu hơn ở kiến thức chuyên sâu và chuỗi suy luận dài.

Khi offline, nó cũng không có cách nào tự kiểm tra. Hãy coi tên, số liệu, ngày tháng và trích dẫn trong câu trả lời là những thứ cần xác minh khi có mạng trở lại, và đừng dựa vào nó cho các quyết định y tế, pháp lý hay tài chính.

Chạy các mô hình tốn bộ nhớ và sức xử lý thật sự, nên Mac làm việc nặng hơn so với tác vụ thông thường và pin tụt nhanh hơn. Hãy cắm sạc khi có thể, nhất là với phiên dài.

Tín dụng, quyền riêng tư và những gì ở lại trên Mac

Phiên cục bộ không dùng tín dụng và không dùng đám mây. Ứng dụng vẫn cần gói thuê bao để chạy; phiên cục bộ chỉ đơn giản là không trừ vào tín dụng hằng tháng, nên một chuyến bay dài trò chuyện với trợ lý không tốn thêm gì.

Phiên được lưu trên Mac, không đồng bộ đám mây, nên những gì bạn làm offline sẽ không xuất hiện trên iPhone sau này. Khi có mạng trở lại, phiên đám mây hoạt động như trước, kể cả tệp đính kèm.

Nếu bạn ghi lời người khác, kể cả trong căn phòng không có mạng, hãy báo cho họ trước. Hướng dẫn về việc ghi âm và ghi lời người khác giải thích nên nói gì.