스크린샷·사진으로 AI에게 묻기: 말로도, 입력으로도

어시스턴트가 볼 수 있는 것

이미지입니다. 스크린샷, 사진 보관함의 사진, 그 자리에서 카메라로 찍은 사진. 어시스턴트는 그림 전체를 보고 그 안의 글자를 읽으므로, 오류 메시지의 스크린샷은 오류 문구를 붙여 넣은 것만큼 좋고, 오류가 어디에 나타났는지까지 보여 주니 더 나을 때가 많습니다.

이미지만 됩니다. PDF, 문서, 오디오 파일은 열지 않습니다. 묻고 싶은 것이 긴 문서의 한 페이지라면 그 페이지의 스크린샷을 찍어 첨부하세요. 중요한 부분을 콕 짚어 주니 대개 더 좋은 질문이 되기도 합니다.

이미지에 대해 말로도, 입력으로도 물을 수 있고, 어느 쪽이든 답은 세션에 텍스트로 나타납니다.

이미지에 대해 묻기, 단계별로

말로 묻든 입력으로 묻든 같은 몇 번의 탭입니다.

1. 앱을 열고 세션을 시작합니다. 맞는 템플릿이 있으면 고르세요. 예를 들어 코드에 관한 질문이라면 ‘코딩 작업’. 아니면 지침을 직접 씁니다.
2. 소리 내어 물으려면 ‘시작’(iPad와 Mac에서는 ‘세션 시작’)을 탭해 어시스턴트가 듣게 합니다. 입력하려면 ‘AI에게 물어보거나 컨텍스트 붙여넣기...’라고 적힌 입력란을 씁니다.
3. iPhone이나 iPad에서는 ‘첨부’를 탭하고 ‘파일’, ‘사진’, ‘카메라’ 중 하나를 골라 이미지를 선택하거나 사진을 찍습니다.
4. Mac에서는 ‘디스플레이’로 화면이나 창을 고른 뒤 ‘스크린샷’을 클릭합니다. 캡처한 이미지는 곧바로 어시스턴트에게 전송됩니다.
5. 그것에 대해 질문합니다. “이 오류는 무슨 뜻이야?”, “이 서류의 7번 칸은 뭘 쓰라는 거야?”, “이 차트에서 3월은 어떻게 나와?”
6. 답이 원하던 것이 아니면 이어서 질문하거나, 더 선명한 이미지를 첨부합니다.

스크린샷을 보여 주고 해결법 받기

사람들이 답답해서 가장 많이 찍는 스크린샷은 오류입니다. 실패한 빌드, 코드가 적힌 대화 상자, 저장되지 않는 설정 화면. 첨부하고 무엇이 잘못됐고 무엇을 바꿔야 하는지 물어보세요. ‘코딩 작업’ 템플릿이 바로 이런 세션을 위한 것이니, 코드에 관한 질문이라면 거기서 시작하세요.

Mac에서는 가장 빠릅니다. ‘디스플레이’에서 빌드 로그나 터미널 창을 고르고 ‘스크린샷’을 클릭한 뒤, 화면을 보고 있는 그대로 “이거 왜 실패해?”라고 물어보세요. 화면에 보이는 것 이상이 필요하다면 관련 함수나 설정을 입력란에 붙여 넣으세요. 어시스턴트는 프로젝트 전체가 아니라 이미지와 내가 알려 준 것만 봅니다.

해결책은 내 문제의 한 화면만 본 동료의 제안으로 여기세요. 붙여 넣기 전에 읽어 보고, 됐으리라 짐작하지 말고 빌드를 다시 돌려 보세요.

캡처하기 전에 화면에 또 무엇이 있는지 보세요. 터미널에 API 키가, 브라우저 탭에 고객 이름이, 알림에 누군가의 메시지가 보일 수 있습니다. 먼저 닫거나 잘라 내세요. 그림에 담긴 것은 모두 질문과 함께 갑니다.

다른 언어로 된 서류, 편지, 메뉴판

읽을 수 없는 서류의 사진은 소리 내어 묻기 좋은 질문거리입니다. 각 칸은 무엇을 묻는지, 내게 해당하는 칸은 어디인지, 아래쪽 작은 글씨는 무슨 말인지. 관공서에서 온 편지, 문에 붙은 안내문, 메뉴판, 포장지의 사용법도 마찬가지입니다.

내 언어로, 실제로 궁금한 것을 물으세요. “이게 뭐라고 쓰여 있어?”보다 “이 메뉴판을 번역하고 고기가 안 들어간 요리를 알려 줘”가 훨씬 쓸모 있는 답을 받습니다.

중요한 곳에서는 확인하세요. 어시스턴트는 서류를 설명할 뿐 대신 작성해 주지 않으며, 그 설명은 공인 번역이 아닙니다. 세금, 이민, 의료 동의 같은 공식 서류라면 답을 무엇을 묻는지 이해하는 데 쓰고, 서명하기 전에 발급한 기관이나 전문가에게 확인하세요.

실시간 대화를 문장마다 번역하는 것은 다른 일이며, ‘번역’이 합니다. 끄기 전까지 켜져 있는 앱 전체 스위치이고, 켜져 있는 동안에는 말하거나 입력한 모든 것이 ‘대상 언어’로 번역됩니다. 앞서 썼다면 이미지에 대해 묻기 전에 확인하세요.

차트, 슬라이드, 화이트보드

차트는 숫자의 그림이고, 그에 관한 질문은 대개 셋 중 하나입니다. 무엇을 보여 주는지, 무엇이 바뀌었는지, 발표자가 말하는 내용을 정말 보여 주는지. 차트를 스크린샷으로 찍어(Mac에서는 차트가 열린 창을) 물어보세요. 중요한 수치는 답이 아니라 원본에서 읽으세요.

회의가 끝난 뒤의 화이트보드도 마커로 쓴 같은 문제입니다. 누가 지우기 전에 사진을 찍고, 거기 적힌 결정이 무엇이었는지 묻거나 다이어그램을 목록으로 바꿔 달라고 하세요. 손글씨는 인쇄된 글자보다 읽기 어려우니, 중요한 단어는 보드와 대조하세요.

Mac의 화상 통화에서 보여 주는 슬라이드라면, ‘디스플레이’에서 통화 창을 고르고 원하는 슬라이드가 떴을 때 ‘스크린샷’을 클릭하세요. 슬라이드가 바뀌고 새 질문이 생기면 다시 찍으세요.

어시스턴트가 읽을 수 있는 이미지 만들기

작은 것이 답을 크게 바꿉니다.

• 묻고 싶은 부분만 잘라 내세요. 구석에 오류가 있는 화면 전체는 엉뚱한 부분에 대한 답을 부릅니다.
• 정면에서, 밝은 곳에서, 글자에 초점을 맞춰 찍으세요. 흐릿한 서류 사진은 누가 봐도 추측일 뿐입니다.
• 알고 싶은 것을 말하세요. “이게 뭐야?”는 설명을 받고, “내 생년월일은 어느 칸에 써?”는 답을 받습니다.
• 그림에 없는 맥락을 알려 주세요. 어느 앱에서 나온 것인지, 무엇을 하려던 참이었는지, 이미 무엇을 해 봤는지.
• iPhone과 iPad에서는 다른 앱의 스크린샷을 세션을 시작하기 전에 찍어 두세요. 라이브 세션은 앱이 백그라운드로 가면 종료되므로, 세션 도중 캡처하러 다른 앱으로 넘어가면 세션이 닫힙니다.

이미지가 가는 곳, 그리고 이것이 아닌 것

클라우드 세션에서는 이미지가 질문과 함께 OpenAI로 전송되고, 세션은 클라우드 동기화 없이 기기에 저장됩니다. Arte Soft의 서버는 음성, 기록, 답변을 전혀 받지 않습니다.

그러니 무엇을 찍을지는 내 책임입니다. 내 오류 메시지, 내 편지, 탁자 위의 메뉴판은 괜찮습니다. 다른 사람의 사적인 서류, 동료의 화면, 낯선 사람의 신분증은 답이 아무리 유용해도 어디로든 보낼 수 있는 내 것이 아닙니다.

그리고 어떤 사진은 사람이 봐야 합니다. 피부 발진, 검사 영상, 계약 조항, 자동차 계기판의 경고등. 어시스턴트는 보이는 것을 설명하고 무엇을 물어볼지 제안할 수 있지만, 의사도 변호사도 정비사도 아니며 자신 있게 틀릴 수 있습니다. 그 답은 전문가를 대신하는 데가 아니라, 맞는 전문가에게 더 좋은 질문을 하는 데 쓰세요.