Spør KI om et skjermbilde eller et bilde: snakk eller skriv

Hva assistenten kan se på

Bilder: et skjermbilde, et bilde fra biblioteket ditt eller et bilde tatt med kameraet for anledningen. Assistenten ser på hele bildet og leser teksten i det, så et skjermbilde av en feilmelding er like bra som å lime inn feilen, og ofte bedre, fordi det også viser hvor feilen dukket opp.

Bare bilder. Den åpner ikke PDF-er, dokumenter eller lydfiler. Gjelder spørsmålet en side i et langt dokument, tar du et skjermbilde av den siden og legger ved skjermbildet. Det er som regel det bedre spørsmålet uansett, fordi det peker på den delen som betyr noe.

Du kan spørre om bildet ved å snakke eller skrive, og svaret vises som tekst i økten uansett.

Spør om et bilde, steg for steg

De samme få trykkene, enten spørsmålet er muntlig eller skriftlig.

1. Åpne appen og start en økt. Velg en mal hvis en passer — Kodeoppgave til et spørsmål om kode, for eksempel — eller skriv dine egne instruksjoner.
2. Vil du spørre høyt, trykker du Start (Start økten på iPad og Mac), så assistenten lytter. Vil du skrive, bruker du feltet «Spør AI eller lim inn kontekst…».
3. På iPhone eller iPad trykker du Legg ved og velger Filer, Bilder eller Kamera, og så velger du bildet eller tar det.
4. På Mac velger du skjermen eller vinduet under «Skjerm» og klikker Skjermdump. Bildet sendes til assistenten med en gang.
5. Still spørsmålet ditt om det: «Hva betyr denne feilen?», «Hva spør felt 7 i dette skjemaet om?», «Hva sier denne grafen om mars?»
6. Er svaret ikke det du trengte, still et oppfølgingsspørsmål, eller legg ved et tydeligere bilde.

Vis et skjermbilde, få en løsning

Skjermbildet de fleste tar i frustrasjon, er en feil: en bygging som feilet, en dialogboks med en kode i, en innstillingsside som nekter å lagre. Legg det ved og spør hva som gikk galt og hva du skal endre. Malen Kodeoppgave er skrevet for denne typen økt; start fra den når spørsmålet gjelder kode.

På Mac går dette aller raskest. Velg vinduet med byggeloggen eller terminalen under «Skjerm», klikk Skjermdump, og spør «hvorfor feiler dette?» mens du fortsatt ser på det. Trenger svaret mer enn skjermen viser, limer du inn den aktuelle funksjonen eller konfigurasjonen i tekstfeltet. Assistenten ser bare det som er i bildet og det du forteller den, ikke hele prosjektet ditt.

Se på løsningen som et forslag fra en kollega som har sett én skjerm av problemet ditt. Les den før du limer den inn, og kjør byggingen igjen i stedet for å anta at det virket.

Før du tar bildet, se på hva annet som er på skjermen. En terminal kan vise en API-nøkkel, en nettleserfane kan vise navnet på en kunde, et varsel kan vise en melding fra noen. Lukk dem eller beskjær først; alt i bildet følger med spørsmålet.

Skjemaer, brev og menyer på et annet språk

Et bilde av et skjema du ikke kan lese, er et godt spørsmål å stille høyt: hva spør hvert felt om, hvilke rubrikker gjelder meg, hva sier den lille skriften nederst. Det samme fungerer for et brev fra et kontor, en lapp på en dør, en meny eller bruksanvisningen på en pakke.

Spør på ditt eget språk, og still det spørsmålet du faktisk har: «oversett denne menyen og si hvilke retter som er uten kjøtt» kommer lenger enn «hva står det her».

Der det betyr noe, sjekk. Assistenten forklarer et skjema; den fyller det ikke ut for deg, og forklaringen er ingen autorisert oversettelse. Ved et offentlig skjema — skatt, innvandring, et medisinsk samtykke — bruker du svaret til å forstå hva det spørres om, og bekrefter med kontoret som utstedte det, eller med en fagperson, før du skriver under.

Å oversette en direkte samtale setning for setning er en annen jobb, og den gjøres av Oversett. Det er en bryter for hele appen som står på til du slår den av, og mens den er på, blir alt du sier eller skriver, oversatt til språket i «Til» — så har du brukt den tidligere, bør du sjekke den før du spør om et bilde.

Grafer, lysbilder og tavler

En graf er et bilde av tall, og et spørsmål om den er som regel ett av tre: hva viser den, hva har endret seg, og sier den det den som presenterer den, påstår at den sier. Ta et skjermbilde av grafen — på Mac av vinduet der den er åpen — og spør. Der et tall betyr noe, les det av kilden, ikke av svaret.

En tavle på slutten av et møte er det samme problemet med tusj. Ta bilde av den før noen visker den ut, og spør hva beslutningene på den var, eller be om diagrammet som en liste. Håndskrift er vanskeligere å lese enn trykt tekst; der et ord betyr noe, sjekk det mot tavla.

For lysbilder som vises i en videosamtale på Mac, velger du samtalens vindu under «Skjerm» og klikker Skjermdump når lysbildet du vil ha, er oppe. Når lysbildet skifter og du har et nytt spørsmål, tar du et nytt.

Et bilde assistenten kan lese

Små ting gjør stor forskjell for svaret.

• Beskjær til det du spør om. En hel skjerm med feilen i ett hjørne inviterer til et svar om feil del.
• Fotografer rett forfra, i godt lys, med teksten i fokus. Et uskarpt bilde av et skjema er gjetting for hvem som helst.
• Si hva du vil vite. «Hva er dette?» gir en beskrivelse; «hvilket felt er fødselsdatoen min?» gir et svar.
• Gi den konteksten bildet ikke viser: appen det kom fra, hva du prøvde å gjøre, hva du allerede har prøvd.
• På iPhone og iPad tar du skjermbilder av andre apper før du starter økten. En direkteøkt avsluttes når appen går i bakgrunnen, så å bytte bort midt i en økt for å ta et bilde stenger den.

Hvor bildet går, og hva det ikke er til

I en skyøkt går bildet til OpenAI sammen med spørsmålet ditt, og økten lagres på enheten din, uten skysynkronisering. Arte Softs servere mottar aldri lyden, transkripsjonene eller svarene dine.

Det gjør det du fotograferer, til ditt ansvar. Din egen feilmelding, ditt eget brev, en meny på et bord: greit. Andres private dokumenter, en kollegas skjerm, en fremmeds ID-kort: ikke ditt å sende noe sted, uansett hvor nyttig svaret ville vært.

Og noen bilder trenger et menneske. Et utslett, et røntgenbilde, en kontraktsklausul, en varsellampe på dashbordet i bilen: assistenten kan beskrive det den ser og foreslå hva du bør spørre om, men den er verken lege, advokat eller mekaniker, og den kan ta feil med stor selvsikkerhet. Bruk svaret til å stille riktig fagperson et bedre spørsmål, ikke til å erstatte dem.