Fråga AI om en skärmdump eller ett foto: prata eller skriv

Vad assistenten kan titta på

Bilder: en skärmdump, ett foto från ditt bibliotek eller en bild som tas med kameran för ändamålet. Assistenten tittar på hela bilden och läser texten i den, så en skärmdump av ett felmeddelande är lika bra som det inklistrade felet, och ofta bättre, eftersom den också visar var felet dök upp.

Bara bilder. Den öppnar inte PDF:er, dokument eller ljudfiler. När det du vill fråga om är en sida i ett långt dokument, ta en skärmdump av sidan och bifoga skärmdumpen. Det är oftast den bättre frågan ändå, eftersom den pekar på den del som spelar roll.

Du kan fråga om bilden genom att prata eller skriva, och svaret visas som text i sessionen i båda fallen.

Fråga om en bild, steg för steg

Samma få tryck oavsett om frågan är talad eller skriven.

1. Öppna appen och starta en session. Välj en mall om någon passar — Kodningsuppgift för en fråga om kod, till exempel — eller skriv egna instruktioner.
2. För att fråga högt trycker du på Starta (Starta session på iPad och Mac) så att assistenten lyssnar. För att skriva använder du rutan ”Fråga AI eller klistra in sammanhang…”.
3. På iPhone eller iPad trycker du på Bifoga och väljer Filer, Foton eller Kamera, och väljer sedan bilden eller tar fotot.
4. På Mac väljer du skärmen eller fönstret med Display och klickar sedan på Skärmdump. Bilden skickas till assistenten direkt.
5. Ställ din fråga om den: ”Vad betyder det här felet?”, ”Vad ska jag fylla i i ruta 7 på den här blanketten?”, ”Vad säger diagrammet om mars?”
6. Om svaret inte var det du behövde, ställ en följdfråga eller bifoga en tydligare bild.

Visa en skärmdump, få en lösning

Skärmdumpen de flesta tar i frustration är ett fel: ett bygge som misslyckades, en dialogruta med en felkod, en inställningssida som vägrar spara. Bifoga den och fråga vad som gick fel och vad du ska ändra. Mallen Kodningsuppgift är skriven för den här sortens session; börja från den när frågan gäller kod.

På Mac går det allra snabbast. Välj fönstret med byggloggen eller terminalen i Display, klicka på Skärmdump och fråga ”varför misslyckas det här?” medan du fortfarande tittar på det. Om svaret kräver mer än skärmen visar, klistra in den aktuella funktionen eller konfigurationen i textrutan. Assistenten ser bara det som finns i bilden och det du berättar, inte hela ditt projekt.

Se lösningen som ett förslag från en kollega som har sett en skärm av ditt problem. Läs den innan du klistrar in den, och kör bygget igen i stället för att anta att det fungerade.

Innan du fångar skärmen, titta på vad mer som syns. En terminal kan visa en API-nyckel, en webbläsarflik kan visa en kunds namn, en notis kan visa någons meddelande. Stäng eller beskär bort dem först; allt i bilden följer med frågan.

Blanketter, brev och menyer på ett annat språk

Ett foto av en blankett du inte kan läsa är en bra fråga att ställa högt: vad frågar varje fält efter, vilka rutor gäller mig, vad står det i det finstilta längst ner. Detsamma fungerar för ett brev från en myndighet, en lapp på en dörr, en meny eller instruktionerna på en förpackning.

Fråga på ditt eget språk, och ställ den fråga du faktiskt har: ”översätt menyn och säg vilka rätter som inte innehåller kött” kommer längre än ”vad står det här”.

Kontrollera där det spelar roll. Assistenten förklarar en blankett; den fyller inte i den åt dig, och förklaringen är ingen auktoriserad översättning. För en officiell blankett — skatt, migration, ett medicinskt samtycke — använd svaret för att förstå vad som efterfrågas, och bekräfta sedan med myndigheten som utfärdade den, eller med en fackperson, innan du skriver under.

Att översätta ett livesamtal mening för mening är ett annat jobb, som sköts av Översätt. Det är ett reglage för hela appen som förblir påslaget tills du stänger av det, och medan det är på översätts allt du säger eller skriver till språket i ”Till” — så om du använde det tidigare, kontrollera det innan du frågar om en bild.

Diagram, presentationer och whiteboardtavlor

Ett diagram är en bild av siffror, och en fråga om det är oftast en av tre: vad visar det, vad har ändrats, och säger det verkligen det som den som presenterar säger att det säger? Ta en skärmdump av diagrammet — på Mac fönstret där det är öppet — och fråga. Där en siffra spelar roll, läs av den i källan, inte i svaret.

En whiteboardtavla i slutet av ett möte är samma problem i tuschpenna. Fotografera den innan någon suddar ut den, och fråga sedan vilka beslut som står där, eller be om skissen som en lista. Handstil är svårare att läsa än tryckt text; där ett ord spelar roll, kontrollera det mot tavlan.

För presentationsbilder som visas i ett videosamtal på Mac väljer du samtalets fönster i Display och klickar på Skärmdump när bilden du vill ha är uppe. När bilden byts och du har en ny fråga, ta en ny skärmdump.

En bild som assistenten kan läsa

Små saker gör stor skillnad för svaret.

• Beskär till det du frågar om. En hel skärm med felet i ena hörnet bjuder in till ett svar om fel del.
• Fotografera rakt framifrån, i bra ljus, med texten i fokus. Ett suddigt foto av en blankett är en gissning för vem som helst.
• Säg vad du vill veta. ”Vad är det här?” ger en beskrivning; ”vilket fält är mitt födelsedatum?” ger ett svar.
• Ge den sammanhanget som bilden inte visar: vilken app den kom från, vad du försökte göra, vad du redan har provat.
• På iPhone och iPad, ta skärmdumpar av andra appar innan du startar sessionen. En livesession avslutas när appen hamnar i bakgrunden, så om du byter app mitt i sessionen för att fånga något stängs den.

Vart bilden tar vägen, och vad den inte är till för

I en molnsession går bilden till OpenAI med din fråga, och sessionen sparas på din enhet, utan molnsynkronisering. Arte Softs servrar tar aldrig emot ditt ljud, dina transkript eller dina svar.

Det gör det du fotograferar till ditt ansvar. Ditt eget felmeddelande, ditt eget brev, en meny på ett bord: inga problem. Någon annans privata handlingar, en kollegas skärm, en främlings id-kort: inte ditt att skicka någonstans, hur användbart svaret än skulle vara.

Och vissa bilder behöver en människa. Ett utslag, en röntgenbild, en avtalsklausul, en varningslampa på bilens instrumentbräda: assistenten kan beskriva vad den ser och föreslå vad du ska fråga, men den är ingen läkare, jurist eller mekaniker, och den kan ha fel med stor säkerhet. Använd svaret för att ställa en bättre fråga till rätt fackperson, inte för att ersätta den.