Spørg AI om et skærmbillede eller foto — tal eller skriv

Hvad assistenten kan se på

Billeder: et skærmbillede, et foto fra dit bibliotek eller et billede, du tager med kameraet til formålet. Assistenten ser på hele billedet og læser teksten i det, så et skærmbillede af en fejlmeddelelse er lige så godt som fejlen indsat som tekst, og ofte bedre, fordi det også viser, hvor fejlen dukkede op.

Kun billeder. Den åbner ikke PDF'er, dokumenter eller lydfiler. Når det, du vil spørge om, er en side i et langt dokument, så tag et skærmbillede af den side, og vedhæft skærmbilledet. Det er som regel også det bedre spørgsmål, fordi det peger på den del, der betyder noget.

Du kan spørge om billedet ved at tale eller skrive, og svaret vises som tekst i sessionen uanset hvad.

Spørg om et billede, trin for trin

De samme få tryk, uanset om spørgsmålet bliver sagt eller skrevet.

1. Åbn appen, og start en session. Vælg en skabelon, hvis en passer — Kodningsopgave til et spørgsmål om kode, for eksempel — eller skriv dine egne instruktioner.
2. Vil du spørge højt, så tryk på Start (Start session på iPad og Mac), så assistenten lytter. Vil du skrive, så brug feltet »Spørg AI eller indsæt kontekst…«.
3. På iPhone eller iPad trykker du på Vedhæft, vælger Filer, Fotos eller Kamera og vælger derefter billedet eller tager det.
4. På en Mac vælger du skærmen eller vinduet med Display og klikker derefter på Skærmbillede. Billedet sendes til assistenten med det samme.
5. Stil dit spørgsmål om det: »Hvad betyder denne fejl?«, »Hvad spørger felt 7 i denne blanket om?«, »Hvad siger denne graf om marts?«
6. Er svaret ikke det, du havde brug for, så stil et opfølgende spørgsmål, eller vedhæft et tydeligere billede.

Vis et skærmbillede, få en løsning

Det skærmbillede, de fleste tager i frustration, er en fejl: en build, der fejlede, en dialogboks med en kode, en indstillingsside, der nægter at gemme. Vedhæft det, og spørg, hvad der gik galt, og hvad der skal ændres. Skabelonen Kodningsopgave er skrevet til den slags session; start med den, når spørgsmålet handler om kode.

På en Mac går det hurtigst af alt. Vælg vinduet med build-loggen eller terminalen i Display, klik på Skærmbillede, og spørg »hvorfor fejler det her?«, mens du stadig kigger på det. Kræver svaret mere, end skærmen viser, så indsæt den relevante funktion eller konfiguration i tekstfeltet. Assistenten ser kun det, der er på billedet, og det, du fortæller den, ikke hele dit projekt.

Behandl løsningen som et forslag fra en kollega, der har set én skærm af dit problem. Læs den, før du indsætter den, og kør buildet igen i stedet for at gå ud fra, at det virkede.

Før du tager billedet, så se, hvad der ellers er på skærmen. En terminal kan vise en API-nøgle, en browserfane kan vise en kundes navn, en notifikation kan vise en andens besked. Luk eller beskær dem først; alt på billedet følger med spørgsmålet.

Blanketter, breve og menukort på et andet sprog

Et foto af en blanket, du ikke kan læse, er et godt spørgsmål at stille højt: hvad spørger hvert felt om, hvilke felter gælder mig, hvad står der med småt nederst? Det samme virker for et brev fra et kontor, en seddel på en dør, et menukort eller vejledningen på en pakke.

Spørg på dit eget sprog, og stil det spørgsmål, du faktisk har: »oversæt dette menukort, og sig, hvilke retter der er uden kød« kommer længere end »hvad står der?«.

Tjek det, hvor det betyder noget. Assistenten forklarer en blanket; den udfylder den ikke for dig, og dens forklaring er ikke en autoriseret oversættelse. Til en officiel blanket — skat, opholdstilladelse, et samtykke hos lægen — så brug svaret til at forstå, hvad der bliver spurgt om, og bekræft det derefter hos den myndighed, der har udstedt den, eller hos en fagperson, før du skriver under.

At oversætte en live samtale sætning for sætning er en anden opgave, som Oversæt klarer. Det er en kontakt for hele appen, der forbliver slået til, indtil du slår den fra, og mens den er slået til, bliver alt, hvad du siger eller skriver, oversat til sproget i »Til« — så har du brugt den tidligere, bør du tjekke den, før du spørger om et billede.

Grafer, slides og whiteboards

En graf er et billede af tal, og et spørgsmål om den er som regel et af tre: hvad viser den, hvad har ændret sig, og siger den det, som den, der præsenterer den, påstår? Tag et skærmbillede af grafen — på en Mac af vinduet, hvor den er åben — og spørg. Hvor et tal betyder noget, så læs det af kilden, ikke af svaret.

Et whiteboard efter et møde er det samme problem med tusch. Tag et billede af det, før nogen visker det ud, og spørg derefter, hvilke beslutninger der står på det, eller bed om diagrammet som en liste. Håndskrift er sværere at læse end tryk; hvor et ord betyder noget, så tjek det mod tavlen.

Til slides, der vises i et videoopkald på en Mac, vælger du opkaldets vindue i Display og klikker på Skærmbillede, når den slide, du vil spørge om, er fremme. Når sliden skifter, og du har et nyt spørgsmål, så tag et nyt.

Sådan får du et billede, assistenten kan læse

Små ting gør en stor forskel for svaret.

• Beskær til det, du spørger om. En hel skærm med fejlen i det ene hjørne indbyder til et svar om den forkerte del.
• Fotografér lige forfra, i godt lys, med teksten i fokus. Et sløret foto af en blanket er et gæt for enhver.
• Sig, hvad du vil vide. »Hvad er det her?« giver en beskrivelse; »hvilket felt er min fødselsdato?« giver et svar.
• Giv den den sammenhæng, billedet ikke viser: den app, det kom fra, hvad du prøvede at gøre, hvad du allerede har prøvet.
• På iPhone og iPad skal du tage skærmbilleder af andre apps, før du starter sessionen. En livesession slutter, når appen går i baggrunden, så hvis du skifter væk midt i sessionen for at tage et billede, lukker den.

Hvor billedet tager hen, og hvad det ikke er til

I en cloud-session går billedet til OpenAI sammen med dit spørgsmål, og sessionen gemmes på din enhed, uden cloud-synkronisering. Arte Softs servere modtager aldrig din lyd, dine transskriptioner eller svar.

Det gør det, du fotograferer, til dit ansvar. Din egen fejlmeddelelse, dit eget brev, et menukort på et bord: fint. En andens private dokumenter, en kollegas skærm, en fremmeds sundhedskort: ikke dit at sende nogen steder hen, uanset hvor nyttigt svaret ville være.

Og nogle billeder kræver et menneske. Et udslæt, en scanning, en kontraktklausul, en advarselslampe på bilens instrumentbræt: assistenten kan beskrive, hvad den ser, og foreslå, hvad du skal spørge om, men den er ikke læge, advokat eller mekaniker, og den kan tage fejl med stor selvsikkerhed. Brug dens svar til at stille den rette fagperson et bedre spørgsmål, ikke til at erstatte dem.