Спросить нейросеть по фото или скриншоту: вслух или текстом

На что ассистент может посмотреть

На изображения: скриншот, фото из медиатеки или снимок, сделанный камерой специально для вопроса. Ассистент смотрит на всю картинку и читает текст на ней, так что скриншот сообщения об ошибке не хуже вставленного текста ошибки, а часто и лучше, потому что видно, где она появилась.

Только изображения. PDF, документы и аудиофайлы он не открывает. Если вопрос касается страницы длинного документа, сделайте скриншот этой страницы и прикрепите его. Обычно так вопрос даже лучше, потому что указывает на ту часть, которая важна.

Спрашивать об изображении можно голосом или текстом, а ответ в любом случае появляется в сеансе текстом.

Вопрос об изображении, шаг за шагом

Одни и те же несколько касаний — спрашиваете вы вслух или печатаете.

1. Откройте приложение и начните сеанс. Выберите подходящий шаблон — например, «Задача по программированию» для вопроса о коде — или напишите свои инструкции.
2. Чтобы спросить вслух, нажмите «Начать» («Начать сеанс» на iPad и Mac), чтобы ассистент слушал. Чтобы напечатать, воспользуйтесь полем «Спросите ИИ или вставьте контекст…».
3. На iPhone или iPad нажмите «Прикрепить» и выберите «Файлы», «Фотографии» или «Камера», затем выберите изображение или сделайте снимок.
4. На Mac выберите экран или окно через «Дисплей», затем нажмите «Скриншот». Снимок сразу отправляется ассистенту.
5. Задайте вопрос о нём: «Что означает эта ошибка?», «Что нужно указать в графе 7 этого бланка?», «Что этот график говорит о марте?»
6. Если ответ не тот, что нужен, задайте уточняющий вопрос или прикрепите более чёткое изображение.

Покажите скриншот — получите исправление

Скриншот, который чаще всего делают в сердцах, — это ошибка: упавшая сборка, диалог с кодом ошибки, страница настроек, которая отказывается сохраняться. Прикрепите его и спросите, что пошло не так и что изменить. Шаблон «Задача по программированию» написан для таких сеансов; начинайте с него, когда вопрос о коде.

На Mac это быстрее всего. Выберите через «Дисплей» окно с логом сборки или терминалом, нажмите «Скриншот» и спросите «почему это падает?», пока ещё смотрите на ошибку. Если для ответа нужно больше, чем видно на экране, вставьте нужную функцию или конфигурацию в текстовое поле. Ассистент видит только то, что на изображении, и то, что вы ему сказали, а не весь ваш проект.

Относитесь к исправлению как к совету коллеги, который видел один экран вашей проблемы. Прочитайте его, прежде чем вставлять, и запустите сборку снова, а не считайте, что всё заработало.

Перед снимком посмотрите, что ещё есть на экране. В терминале может быть виден API-ключ, во вкладке браузера — имя клиента, в уведомлении — чьё-то сообщение. Сначала закройте или обрежьте это: всё, что попало в кадр, уходит вместе с вопросом.

Бланки, письма и меню на другом языке

Фото бланка, который вы не можете прочитать, — хороший повод спросить вслух: что требуется в каждом поле, какие графы относятся ко мне, что написано мелким шрифтом внизу. То же работает для письма из учреждения, объявления на двери, меню или инструкции на упаковке.

Спрашивайте на своём языке и задавайте тот вопрос, который у вас на самом деле: «переведи это меню и скажи, какие блюда без мяса» даст больше, чем «что тут написано».

Где это важно, перепроверяйте. Ассистент объясняет бланк, но не заполняет его за вас, и его объяснение — не заверенный перевод. Для официального бланка — налоги, иммиграция, медицинское согласие — используйте ответ, чтобы понять, что спрашивают, а перед подписью уточните в учреждении, которое выдало бланк, или у специалиста.

Переводить живой разговор фраза за фразой — другая задача, её выполняет «Перевести». Это переключатель для всего приложения, который остаётся включённым, пока вы его не выключите, и пока он включён, всё, что вы говорите или печатаете, переводится на язык из «На язык», — так что если вы пользовались им раньше, проверьте его, прежде чем спрашивать об изображении.

Графики, слайды и доски

График — это картинка из чисел, и вопрос о нём обычно один из трёх: что он показывает, что изменилось и говорит ли он то, что утверждает докладчик. Сделайте скриншот графика — на Mac окна, где он открыт, — и спросите. Там, где цифра важна, берите её из источника, а не из ответа.

Доска в конце встречи — та же задача, только маркером. Сфотографируйте её, пока никто не стёр, а потом спросите, какие решения на ней записаны, или попросите схему в виде списка. Почерк читается хуже печатного текста; где слово важно, сверьтесь с доской.

Для слайдов, которые показывают в видеозвонке на Mac, выберите через «Дисплей» окно звонка и нажмите «Скриншот», когда на экране нужный слайд. Когда слайд сменится и появится новый вопрос, сделайте ещё один снимок.

Как получить изображение, которое ассистент прочитает

Мелочи сильно влияют на ответ.

• Обрежьте до того, о чём спрашиваете. Весь экран с ошибкой в углу провоцирует ответ не о той части.
• Снимайте прямо, при хорошем свете, с текстом в фокусе. Размытое фото бланка — гадание для кого угодно.
• Скажите, что хотите узнать. «Что это?» даёт описание; «в какой графе дата рождения?» — ответ.
• Дайте контекст, которого не видно на картинке: из какого приложения снимок, что вы пытались сделать, что уже пробовали.
• На iPhone и iPad делайте скриншоты других приложений до начала сеанса. Сеанс в эфире завершается, когда приложение уходит в фон, поэтому если переключиться посреди сеанса ради снимка, он закроется.

Куда уходит изображение и для чего оно не подходит

В облачном сеансе изображение отправляется в OpenAI вместе с вопросом, а сеанс хранится на вашем устройстве, без синхронизации с облаком. Серверы Arte Soft никогда не получают ваш звук, расшифровки или ответы.

Поэтому за то, что вы фотографируете, отвечаете вы. Ваше сообщение об ошибке, ваше письмо, меню на столе — пожалуйста. Чужие личные документы, экран коллеги, паспорт незнакомца — не вам их куда-либо отправлять, каким бы полезным ни был ответ.

А некоторым картинкам нужен человек. Сыпь, снимок МРТ, пункт договора, сигнальная лампа на приборной панели: ассистент может описать, что видит, и подсказать, что спросить, но он не врач, не юрист и не механик и может уверенно ошибаться. Используйте его ответ, чтобы задать нужному специалисту более точный вопрос, а не чтобы его заменить.