Zapytaj AI o zrzut ekranu lub zdjęcie, głosem lub pisząc

Na co asystent może spojrzeć

Na obrazy: zrzut ekranu, zdjęcie z biblioteki albo zdjęcie zrobione specjalnie w tym celu. Asystent patrzy na cały obraz i czyta tekst na nim, więc zrzut ekranu z komunikatem o błędzie jest tak samo dobry jak wklejony błąd, a często lepszy, bo pokazuje też, gdzie błąd się pojawił.

Tylko obrazy. Nie otwiera plików PDF, dokumentów ani plików audio. Gdy chcesz zapytać o stronę w długim dokumencie, zrób zrzut ekranu tej strony i dołącz go. Zwykle to i tak lepsze pytanie, bo wskazuje fragment, który ma znaczenie.

O obraz możesz zapytać głosem albo pisząc, a odpowiedź w obu przypadkach pojawia się w sesji jako tekst.

Pytanie o obraz krok po kroku

Tych samych kilka stuknięć, niezależnie od tego, czy pytanie jest wypowiedziane, czy wpisane.

1. Otwórz aplikację i zacznij sesję. Wybierz szablon, jeśli pasuje — na przykład Zadanie kodowania przy pytaniu o kod — albo napisz własne instrukcje.
2. Żeby zapytać na głos, stuknij Zacznij („Rozpocznij sesję” na iPadzie i Macu), aby asystent słuchał. Żeby pisać, użyj pola „Zapytaj AI lub wklej kontekst…”.
3. Na iPhonie lub iPadzie stuknij Dołącz i wybierz Pliki, Zdjęcia lub Kamera, a potem wskaż obraz albo zrób zdjęcie.
4. Na Macu wybierz ekran lub okno w menu Wyświetlacz, a potem kliknij „Zrzut ekranu”. Przechwycony obraz od razu trafia do asystenta.
5. Zadaj pytanie: „Co oznacza ten błąd?”, „O co pyta pole 7 w tym formularzu?”, „Co ten wykres mówi o marcu?”
6. Jeśli odpowiedź nie jest tym, czego potrzebowałeś, dopytaj albo dołącz wyraźniejszy obraz.

Pokaż zrzut ekranu, dostań poprawkę

Zrzut ekranu, który większość ludzi robi we frustracji, to błąd: nieudana kompilacja, okno z kodem błędu, strona ustawień, która nie chce się zapisać. Dołącz go i zapytaj, co poszło nie tak i co zmienić. Szablon Zadanie kodowania jest napisany właśnie do takich sesji; zacznij od niego, gdy pytanie dotyczy kodu.

Na Macu jest to najszybsze. Wybierz w menu Wyświetlacz okno z logiem kompilacji albo terminalem, kliknij „Zrzut ekranu” i zapytaj „dlaczego to nie działa?”, wciąż na to patrząc. Jeśli odpowiedź wymaga więcej, niż widać na ekranie, wklej odpowiednią funkcję albo konfigurację w pole tekstowe. Asystent widzi tylko to, co jest na obrazie, i to, co mu powiesz, a nie cały twój projekt.

Traktuj poprawkę jak sugestię kolegi, który widział jeden ekran twojego problemu. Przeczytaj ją, zanim ją wkleisz, i uruchom kompilację ponownie, zamiast zakładać, że zadziałało.

Zanim zrobisz zrzut, zobacz, co jeszcze jest na ekranie. Terminal może pokazywać klucz API, karta przeglądarki nazwisko klienta, powiadomienie czyjąś wiadomość. Najpierw je zamknij albo przytnij obraz; wszystko, co jest na zdjęciu, idzie razem z pytaniem.

Formularze, pisma i menu w innym języku

Zdjęcie formularza, którego nie umiesz przeczytać, to dobre pytanie do zadania na głos: o co pyta każde pole, które rubryki mnie dotyczą, co mówi drobny druk na dole. Tak samo działa to z pismem z urzędu, ogłoszeniem na drzwiach, menu czy instrukcją na opakowaniu.

Pytaj we własnym języku i zadawaj pytanie, które naprawdę masz: „przetłumacz to menu i powiedz, które dania są bez mięsa” zaprowadzi cię dalej niż „co tu jest napisane”.

Tam, gdzie to ważne, sprawdzaj. Asystent wyjaśnia formularz, ale go za ciebie nie wypełnia, a jego wyjaśnienie nie jest tłumaczeniem przysięgłym. Przy urzędowym formularzu — podatkowym, imigracyjnym, zgodzie na zabieg — użyj odpowiedzi, żeby zrozumieć, o co chodzi, a przed podpisaniem potwierdź to w urzędzie, który go wydał, albo u specjalisty.

Tłumaczenie rozmowy na żywo zdanie po zdaniu to inne zadanie, które wykonuje Przetłumacz. To przełącznik dla całej aplikacji, który zostaje włączony, dopóki go nie wyłączysz, a gdy jest włączony, wszystko, co mówisz lub wpisujesz, jest tłumaczone na język w polu „Do” — więc jeśli używałeś go wcześniej, sprawdź go, zanim zapytasz o obraz.

Wykresy, slajdy i tablice

Wykres to obraz liczb, a pytanie o niego to zwykle jedno z trzech: co pokazuje, co się zmieniło i czy mówi to, co twierdzi osoba, która go prezentuje. Zrób zrzut ekranu wykresu — na Macu okna, w którym jest otwarty — i zapytaj. Gdy liczba jest ważna, odczytaj ją ze źródła, a nie z odpowiedzi.

Tablica po spotkaniu to ten sam problem, tyle że zapisany markerem. Zrób zdjęcie, zanim ktoś ją zetrze, a potem zapytaj, jakie decyzje na niej zapisano, albo poproś o diagram w formie listy. Pismo odręczne trudniej odczytać niż druk; tam, gdzie słowo jest ważne, sprawdź je na tablicy.

Przy slajdach pokazywanych w wideorozmowie na Macu wybierz okno rozmowy w menu Wyświetlacz i kliknij „Zrzut ekranu”, gdy na ekranie jest slajd, o który chodzi. Gdy slajd się zmieni, a ty masz nowe pytanie, zrób kolejny.

Jak zrobić obraz, który asystent odczyta

Drobiazgi mocno zmieniają odpowiedź.

• Przytnij do tego, o co pytasz. Cały ekran z błędem w jednym rogu zachęca do odpowiedzi o niewłaściwej części.
• Fotografuj na wprost, w dobrym świetle, z ostrym tekstem. Rozmazane zdjęcie formularza to zgadywanie dla każdego.
• Powiedz, co chcesz wiedzieć. „Co to jest?” daje opis; „w którym polu wpisać datę urodzenia?” daje odpowiedź.
• Podaj kontekst, którego nie widać na obrazie: z jakiej aplikacji pochodzi, co próbowałeś zrobić, co już wypróbowałeś.
• Na iPhonie i iPadzie zrób zrzuty ekranu innych aplikacji, zanim zaczniesz sesję. Sesja na żywo kończy się, gdy aplikacja przejdzie w tło, więc przełączenie się w trakcie sesji, żeby coś przechwycić, ją zamyka.

Dokąd trafia obraz i do czego się nie nadaje

W sesji w chmurze obraz trafia do OpenAI razem z twoim pytaniem, a sesja jest zapisywana na twoim urządzeniu, bez synchronizacji z chmurą. Serwery Arte Soft nigdy nie otrzymują twojego dźwięku, transkrypcji ani odpowiedzi.

To sprawia, że za to, co fotografujesz, odpowiadasz ty. Twój własny komunikat o błędzie, twoje własne pismo, menu na stole: w porządku. Cudze prywatne dokumenty, ekran kolegi, dowód osobisty nieznajomego: nie masz prawa ich nigdzie wysyłać, choćby odpowiedź była bardzo przydatna.

A niektóre obrazy wymagają człowieka. Wysypka, wynik badania obrazowego, klauzula w umowie, kontrolka na desce rozdzielczej: asystent może opisać, co widzi, i podpowiedzieć, o co zapytać, ale nie jest lekarzem, prawnikiem ani mechanikiem i potrafi się mylić z pełnym przekonaniem. Użyj jego odpowiedzi, żeby zadać właściwemu specjaliście lepsze pytanie, a nie żeby go zastąpić.