Kérdezz az MI-től egy képernyőképről vagy fotóról

Mit tud megnézni az asszisztens

Képeket: egy képernyőképet, egy fotót a könyvtáradból, vagy egy erre a célra a kamerával készített képet. Az asszisztens az egész képet nézi, és elolvassa a benne lévő szöveget, így egy hibaüzenetről készült képernyőkép ugyanolyan jó, mint a beillesztett hibaüzenet, sőt gyakran jobb, mert az is látszik rajta, hol jelent meg a hiba.

Csak képeket. PDF-et, dokumentumot vagy hangfájlt nem nyit meg. Ha egy hosszú dokumentum egyik oldaláról kérdeznél, készíts képernyőképet arról az oldalról, és azt csatold. Többnyire amúgy is ez a jobb kérdés, mert arra a részre mutat, amelyik számít.

A képről beszélve vagy gépelve is kérdezhetsz, a válasz pedig mindkét esetben szövegként jelenik meg a munkamenetben.

Kérdezés egy képről, lépésről lépésre

Ugyanaz a néhány koppintás, akár kimondod a kérdést, akár begépeled.

1. Nyisd meg az appot, és indíts munkamenetet. Válassz sablont, ha van illő — kóddal kapcsolatos kérdéshez például a Kódolási feladatot —, vagy írj saját utasításokat.
2. Ha hangosan kérdeznél, koppints az Indítás gombra (iPaden és Macen: Munkamenet indítása), hogy az asszisztens hallgasson. Gépeléshez a „Kérdezze meg az AI-t, vagy illessze be a szövegkörnyezetet…” feliratú mezőt használd.
3. iPhone-on vagy iPaden koppints a Csatolás gombra, válaszd a Fájlok, a Fényképek vagy a Kamera lehetőséget, aztán válaszd ki a képet, vagy készítsd el a fotót.
4. Macen a Kijelző menüben válaszd ki a képernyőt vagy az ablakot, aztán kattints a Képernyőkép gombra. A rögzített kép azonnal az asszisztenshez kerül.
5. Tedd fel a kérdésedet róla: „Mit jelent ez a hiba?”, „Mit kell beírni az űrlap 7-es mezőjébe?”, „Mit mutat ez a grafikon márciusról?”
6. Ha a válasz nem az, amire szükséged volt, kérdezz tovább, vagy csatolj egy élesebb képet.

Mutass egy képernyőképet, kapj megoldást

Az a képernyőkép, amelyet a legtöbben bosszúságukban készítenek, egy hiba: egy elbukott build, egy hibakódos párbeszédablak, egy beállítási oldal, amely nem hajlandó menteni. Csatold, és kérdezd meg, mi romlott el, és mit kell megváltoztatni. A Kódolási feladat sablon erre a fajta munkamenetre készült; kódról szóló kérdésnél abból indulj.

Macen ez a leggyorsabb. A Kijelző menüben válaszd ki a build naplóját vagy a terminált mutató ablakot, kattints a Képernyőkép gombra, és kérdezd meg, „miért hasal el?”, amíg még nézed. Ha a válaszhoz több kell annál, amit a képernyő mutat, illeszd be a szövegmezőbe az érintett függvényt vagy konfigurációt. Az asszisztens csak azt látja, ami a képen van, és amit elmondasz neki, nem az egész projektedet.

A javítást kezeld úgy, mint egy kolléga javaslatát, aki a problémádból egyetlen képernyőt látott. Olvasd el, mielőtt beilleszted, és futtasd újra a buildet, ahelyett hogy feltételeznéd, hogy működött.

Rögzítés előtt nézd meg, mi van még a képernyőn. Egy terminál API-kulcsot mutathat, egy böngészőfül egy ügyfél nevét, egy értesítés valakinek az üzenetét. Előbb zárd be vagy vágd ki őket; minden, ami a képen van, a kérdéssel együtt megy.

Idegen nyelvű űrlapok, levelek és étlapok

Egy olyan űrlap fotója, amelyet nem tudsz elolvasni, jó hangos kérdés: mit kér az egyes mezőkben, melyik rovatok vonatkoznak rám, mit ír az apró betű alul. Ugyanez működik egy hivatal levelével, egy ajtóra kitett hirdetménnyel, egy étlappal vagy egy csomagoláson lévő használati utasítással.

A saját nyelveden kérdezz, és azt kérdezd, ami valóban érdekel: a „fordítsd le ezt az étlapot, és sorold fel, melyik ételekben nincs hús” többre visz, mint a „mit ír ez”.

Ahol számít, ellenőrizd. Az asszisztens elmagyaráz egy űrlapot, de nem tölti ki helyetted, és a magyarázata nem hiteles fordítás. Egy hivatalos űrlapnál — adó, bevándorlás, orvosi beleegyezés — a válasz arra jó, hogy megértsd, mit kérdeznek; aláírás előtt erősítsd meg a kibocsátó hivatalnál vagy egy szakembernél.

Egy élő beszélgetés mondatról mondatra fordítása más feladat, azt a Fordítás végzi. Ez az egész appra érvényes kapcsoló, amely bekapcsolva marad, amíg ki nem kapcsolod, és amíg be van kapcsolva, mindent, amit mondasz vagy begépelsz, a Célnyelvre fordít — így ha korábban használtad, egy képpel kapcsolatos kérdés előtt ellenőrizd.

Grafikonok, diák és táblák

A grafikon számok képe, a róla szóló kérdés pedig általában háromféle: mit mutat, mi változott, és azt mondja-e, amit a bemutatója állít róla. Készíts képernyőképet a grafikonról — Macen arról az ablakról, amelyben meg van nyitva —, és kérdezz. Ahol egy szám számít, a forrásból olvasd le, ne a válaszból.

Egy megbeszélés végén a tábla ugyanez a probléma, filccel. Fényképezd le, mielőtt valaki letörli, aztán kérdezd meg, milyen döntések vannak rajta, vagy kérd a rajzot listaként. A kézírást nehezebb elolvasni, mint a nyomtatott szöveget; ahol egy szó számít, vesd össze a táblával.

Egy Macen futó videohívásban megosztott diáknál a Kijelző menüben válaszd ki a hívás ablakát, és kattints a Képernyőkép gombra, amikor a kívánt dia látszik. Ha a dia változik, és új kérdésed van, készíts újat.

Olyan kép, amelyet az asszisztens el tud olvasni

Apróságok is sokat számítanak a válaszban.

• Vágd körbe azt, amiről kérdezel. Egy egész képernyő, a hibával az egyik sarkában, arra csábít, hogy a rossz részről kapj választ.
• Szemből fényképezz, jó fényben, élesen látszó szöveggel. Egy elmosódott űrlapfotó bárkinek csak találgatás.
• Írd le, mit akarsz tudni. A „Mi ez?” kérdésre leírást kapsz; a „melyik mezőbe írjam a születési dátumomat?” kérdésre választ.
• Add meg a kontextust, amelyet a kép nem mutat: melyik appból származik, mit próbáltál csinálni, mit próbáltál már ki.
• iPhone-on és iPaden a többi appról a munkamenet indítása előtt készíts képernyőképet. Az élő munkamenet véget ér, ha az app a háttérbe kerül, így ha munkamenet közben átváltasz, hogy rögzíts valamit, lezárod.

Hová kerül a kép, és mire nem való

Felhős munkamenetben a kép a kérdéseddel együtt az OpenAI-hoz kerül, a munkamenet pedig az eszközödön tárolódik, felhőszinkronizálás nélkül. Az Arte Soft szerverei soha nem kapják meg a hangodat, az átiratokat vagy a válaszokat.

Ezért az, amit lefényképezel, a te felelősséged. A saját hibaüzeneted, a saját leveled, egy étlap az asztalon: rendben. Valaki más magánjellegű iratai, egy kolléga képernyője, egy idegen személyi igazolványa: nem a tiéd, hogy bárhová elküldd, bármilyen hasznos lenne is a válasz.

Néhány képhez pedig ember kell. Egy kiütés, egy lelet, egy szerződéses kikötés, egy figyelmeztető lámpa az autó műszerfalán: az asszisztens leírhatja, mit lát, és javasolhatja, mit kérdezz, de nem orvos, nem ügyvéd és nem szerelő, és magabiztosan is tévedhet. A válaszát arra használd, hogy jobb kérdést tegyél fel a megfelelő szakembernek, ne arra, hogy helyettesítsd.