スクショや写真をAIに質問：声でも文字でも

アシスタントが見られるもの

画像です。スクリーンショット、ライブラリの写真、その場でカメラで撮った写真。アシスタントは画像全体を見て、中の文字も読むので、エラーメッセージのスクリーンショットはエラーを貼り付けるのと同じくらい役立ちます。どこにエラーが出たかもわかるので、そのほうが役立つことも多いくらいです。

画像だけです。PDF、文書、音声ファイルは開きません。長い文書のあるページについて聞きたいなら、そのページのスクリーンショットを撮って添付してください。大事な部分を指し示せるので、たいていはそのほうが良い質問になります。

画像については、話しても打ち込んでも質問でき、どちらの場合も答えはセッションにテキストで表示されます。

画像について質問する手順

質問を話すときも打ち込むときも、同じ数回のタップです。

1. アプリを開いてセッションを始めます。合うテンプレートがあれば選びます。たとえばコードについての質問なら「コーディングタスク」。あるいは自分で指示を書きます。
2. 声で聞くなら、「スタート」（iPad と Mac では「セッションの開始」）をタップして、アシスタントが聞き取れるようにします。打ち込むなら、「AI に質問するか、コンテキストを貼り付けます...」と書かれた入力欄を使います。
3. iPhone か iPad では「添付する」をタップして「ファイル」「写真」「カメラ」のどれかを選び、画像を選ぶか写真を撮ります。
4. Mac では「ディスプレイ」で画面かウィンドウを選んでから「スクリーンショット」をクリックします。キャプチャはすぐにアシスタントに送られます。
5. それについて質問します。「このエラーはどういう意味？」「この書類の7番の欄には何を書けばいい？」「このグラフから3月について何がわかる？」
6. 求めていた答えでなければ、続けて質問するか、もっとはっきりした画像を添付します。

スクリーンショットを見せて、直し方を聞く

イライラしながら撮るスクリーンショットといえば、たいていはエラーです。失敗したビルド、エラーコードの出たダイアログ、保存できない設定画面。それを添付して、何が悪くて何を変えればいいかを聞きます。「コーディングタスク」テンプレートはこうしたセッションのために書かれているので、コードについての質問ならそこから始めてください。

Mac ならいちばん早く済みます。ビルドログやターミナルのウィンドウを「ディスプレイ」で選び、「スクリーンショット」をクリックして、見ているうちに「なぜ失敗する？」と聞きます。画面に映っている以上の情報が必要なら、関係する関数や設定を入力欄に貼り付けます。アシスタントに見えるのは画像と伝えたことだけで、プロジェクト全体ではありません。

直し方は、問題の画面を一枚だけ見た同僚からの提案として扱ってください。貼り付ける前に読み、うまくいったと決めつけずにもう一度ビルドしましょう。

キャプチャする前に、画面にほかに何が映っているか確かめてください。ターミナルに API キーが、ブラウザのタブに顧客の名前が、通知に誰かのメッセージが出ていることがあります。先に閉じるか切り取ってください。画像に写っているものはすべて、質問と一緒に送られます。

外国語の書類、手紙、メニュー

読めない書類の写真は、声に出して聞くのに向いた質問です。それぞれの欄に何を書くのか、自分に当てはまるのはどの欄か、下の小さな文字には何が書いてあるか。役所からの手紙、ドアの貼り紙、メニュー、パッケージの説明書きでも同じです。

自分の言語で、本当に知りたいことを聞いてください。「何て書いてある？」より、「このメニューを訳して、肉が入っていない料理を教えて」のほうが先まで進みます。

大事なときは確かめてください。アシスタントは書類を説明しますが、代わりに記入はしませんし、その説明は正式な翻訳でもありません。税金、在留手続き、医療の同意書などの公的な書類では、何を求められているかを理解するために答えを使い、署名する前に、発行した窓口か専門家に確認してください。

会話を一文ずつライブで訳すのは別の仕事で、「翻訳する」が担当します。アプリ全体のスイッチでオフにするまでオンのままで、オンの間は、話したことも打ち込んだこともすべて「翻訳先」の言語に訳されます。前に使ったことがあるなら、画像について聞く前に確かめてください。

グラフ、スライド、ホワイトボード

グラフは数字を絵にしたもので、それについての質問はたいてい次の3つのどれかです。何を示しているか、何が変わったか、発表者が言っているとおりのことを本当に示しているか。グラフのスクリーンショットを撮って（Mac なら、それが開いているウィンドウを選んで）質問します。数字が大事なときは、答えからではなく元の資料から読み取ってください。

会議の終わりのホワイトボードも、マーカーで書かれた同じ問題です。誰かに消される前に写真を撮り、そこにある決定事項は何かを聞くか、図を箇条書きにしてもらいます。手書きは印刷より読みにくいので、大事な言葉はホワイトボードと照らし合わせてください。

Mac でビデオ通話中に表示されるスライドなら、「ディスプレイ」で通話のウィンドウを選び、聞きたいスライドが表示されたときに「スクリーンショット」をクリックします。スライドが変わって新しい質問ができたら、もう一枚撮ります。

アシスタントが読める画像にする

ちょっとしたことで、答えが大きく変わります。

• 聞きたい部分に切り取ります。隅にエラーがある画面全体を送ると、違う部分について答えられがちです。
• 正面から、明るいところで、文字にピントを合わせて撮ります。ぼやけた書類の写真は、誰にとっても当て推量です。
• 知りたいことを言います。「これは何？」なら説明が返ってきて、「生年月日を書く欄はどれ？」なら答えが返ってきます。
• 画像からはわからないことを伝えます。どのアプリの画面か、何をしようとしていたか、すでに何を試したか。
• iPhone と iPad では、ほかのアプリのスクリーンショットはセッションを始める前に撮っておきます。ライブセッションはアプリがバックグラウンドに移ると終了するので、セッション中に何かを撮りに切り替えると、セッションが閉じてしまいます。

画像の行き先と、向かないこと

クラウドのセッションでは、画像は質問と一緒に OpenAI に送られ、セッションは端末に保存されます。クラウド同期はありません。Arte Soft のサーバーが音声・文字起こし・回答を受け取ることはありません。

だからこそ、何を撮るかはあなたの責任です。自分のエラーメッセージ、自分宛ての手紙、テーブルの上のメニューなら問題ありません。ほかの人の私的な書類、同僚の画面、知らない人の身分証は、答えがどれほど役立つとしても、あなたがどこかに送ってよいものではありません。

そして、人に見てもらうべき写真もあります。発疹、検査画像、契約書の条項、車のダッシュボードの警告灯。アシスタントは見えたものを説明し、何を聞けばいいかを提案できますが、医師でも弁護士でも整備士でもなく、自信たっぷりに間違えることもあります。専門家の代わりにするのではなく、専門家により良い質問をするために答えを使ってください。