Mac 오프라인 AI 비서: 인터넷 없이 로컬 모델로

네트워크 없이 로컬 세션이 하는 일

로컬 세션은 어시스턴트의 두 절반을 모두 Mac에서 실행합니다. Whisper가 마이크에 들린 소리를 기록으로 바꾸고, Qwen이 답을, 번역이 켜져 있으면 번역을 씁니다. 클라우드 모델이 관여하지 않으므로 작업 자체는 네트워크에 의존하지 않습니다. 자꾸 끊기는 호텔 Wi-Fi에도, 역과 역 사이를 달리는 기차에도, 기기를 네트워크에 연결할 수 없는 방에도 좌우되지 않습니다.

이 가이드는 연결 없이 작업하는 것에 관한 것입니다. 로컬을 택하는 이유가 오히려 개인정보, 즉 음성이 방 밖으로 나가면 안 되는 대화라면, Mac 비공개 받아쓰기 가이드에서 그쪽을 다룹니다.

로컬 세션에서 할 수 있는 것:

• 받아쓰기: 마이크에 들린 소리의 라이브 기록.
• 답하기: 어시스턴트의 답을 텍스트로.
• 번역: ‘원본 언어’에서 ‘대상 언어’로, 한 번에 한 방향씩, 텍스트로.
• 보관: 세션은 다른 세션과 마찬가지로 Mac에 저장됩니다.

오프라인에서 안 되는 것

로컬 답변 모델에서는 첨부를 쓸 수 없으므로, 사진이나 이미지에 관한 질문은 다시 온라인이 되어 클라우드 세션을 쓸 때까지 기다려야 합니다.

이 모든 것은 iPhone과 iPad에는 없습니다. 거기서는 세션이 클라우드에서 실행되어 인터넷 연결이 필요하고, 대신 쓸 오프라인 모드가 없습니다. 신호가 없는 곳에서 휴대폰으로 도움을 받아야 한다면 떠나기 전에 대비하세요.

로컬 모델에는 Apple 실리콘과 macOS 26 이상을 갖춘 Mac도 필요합니다. Mac 앱 자체의 요구 사항과 같습니다.

떠나기 전에: 온라인일 때 모델 내려받기

모델은 앱 다운로드에 포함되어 있지 않습니다. 앱의 ‘설정’에서 Hugging Face로부터 한 번 내려받으면 Mac에 남습니다. 합치면 수 기가바이트이므로, 탑승 20분 전 공항 Wi-Fi가 아니라 집이나 사무실의 좋은 연결에서 하세요.

1. Mac에서 앱의 ‘설정’을 열고, 받아쓰기용 Whisper Large v3 Turbo와 답변용 Qwen 3 8B를 내려받습니다.
2. 두 다운로드가 모두 끝날 때까지 Mac을 깨어 있고 연결된 상태로 둡니다.
3. 세션을 시작하기 전에 로컬 모델을 고릅니다. 듣기는 Whisper, 답변은 Qwen.
4. ‘세션 시작’을 클릭하고 몇 문장을 말한 뒤 질문을 하나 해서, 기록과 답이 나타나는지 확인합니다.
5. 번역이 필요하다면 ‘번역’을 클릭하고, 예상되는 방향으로 ‘원본 언어’와 ‘대상 언어’를 설정해 한 문장을 확인합니다.
6. ‘종료’를 클릭합니다. 이제 모델이 작동한다는 것은 알았습니다. 다음은 연결 없이도 작동하는지 확인할 차례입니다.

Wi-Fi를 끄고 한 번 해 보기

연결이 전혀 없는 상태에서 앱이 열리고 세션이 시작되는지는, 그것이 중요해지기 전에 내 Mac에서 직접 확인해 볼 일입니다. 5분이면 되고, 비행기 좌석보다 책상 앞에서 알게 되는 편이 훨씬 낫습니다.

1. Wi-Fi를 끄고, 네트워크 케이블이 있다면 뽑습니다.
2. 앱을 완전히 종료했다가 다시 열어, 온라인 세션에서 이어지는 것이 없게 합니다.
3. 로컬 세션을 시작하고 1분쯤 말한 뒤 질문을 합니다.
4. 기록과 답이 모두 나타나는지, 필요하다면 문장이 번역되는지 확인합니다.
5. 세션을 종료합니다. 도중에 연결을 요구한 것이 있었다면, 아직 대비할 수 있는 지금 알게 된 것입니다.

비행기, 기차, 닫힌 방에서 쓰기 좋은 일

노트북에서 도는 모델은 내가 주는 것으로 가장 잘 일합니다. 오프라인에서 가진 것은 그것뿐입니다. 내 말, 그리고 누군가와 이야기하고 있다면 그 사람의 말.

• 계획, 제안서, 까다로운 이메일을 소리 내어 생각하며 정리하고, 구조화된 개요로 돌려받기.
• 도착해서 할 발표의 도입부를 연습하고, 청중이 무엇을 설명해 주길 원할지 묻기.
• 도착지에서 기다리는 대화를 위해 몇 문장을 텍스트로 번역하기. 한 번에 한 방향씩.
• 기기를 네트워크에 연결할 수 없는 방에서, 모두에게 먼저 알린 뒤 대화의 라이브 기록 남기기.
• 찾아볼 것이 없을 때 문제를 단계별로 풀어 보기.

노트북 크기 모델이 잘하는 것과 못하는 것

Qwen 3 8B는 노트북에서 돌아갈 만큼 작고, 그게 핵심입니다. 그리고 큰 클라우드 모델보다 확실히 능력이 떨어집니다. 바꿔 말하기, 구조 잡기, 요청하면 결정된 내용 뽑아내기, 흔한 개념 설명, 평이한 문장 번역에는 능숙하지만, 전문 지식과 긴 추론에는 약합니다.

오프라인에서는 스스로 확인할 방법도 없습니다. 답에 나온 이름, 수치, 날짜, 인용은 다시 온라인이 되면 확인할 것으로 여기고, 의료·법률·금융 결정에는 의지하지 마세요.

모델을 실행하려면 메모리와 처리 능력이 실제로 필요하므로, Mac은 평소 작업보다 더 힘들게 일하고 배터리도 빨리 닳습니다. 특히 긴 세션이라면 가능할 때 전원을 연결하세요.

크레딧, 개인정보, Mac에 남는 것

로컬 세션은 크레딧도 클라우드도 쓰지 않습니다. 앱을 쓰려면 여전히 구독이 필요하지만, 로컬 세션은 월 크레딧을 차감하지 않으므로 긴 비행 내내 어시스턴트와 이야기해도 추가 비용이 없습니다.

세션은 클라우드 동기화 없이 Mac에 저장되므로, 오프라인에서 한 일이 나중에 iPhone에 나타나지 않습니다. 다시 온라인이 되면 클라우드 세션은 첨부를 포함해 이전처럼 작동합니다.

네트워크가 없는 방이라도 다른 사람의 말을 받아쓴다면 먼저 알리세요. 다른 사람의 대화를 녹음하고 받아쓰는 방법에 관한 가이드에서 무엇을 말할지 설명합니다.