Screenshot oder Foto von der KI erklären lassen

Was sich der Assistent ansehen kann

Bilder: ein Screenshot, ein Foto aus Ihrer Mediathek oder ein Bild, das Sie eigens mit der Kamera aufnehmen. Der Assistent sieht sich das ganze Bild an und liest den Text darin; ein Screenshot einer Fehlermeldung ist also so gut wie die eingefügte Meldung und oft besser, weil er auch zeigt, wo der Fehler auftrat.

Nur Bilder. PDFs, Dokumente oder Audiodateien öffnet er nicht. Geht es um eine Seite in einem langen Dokument, machen Sie einen Screenshot dieser Seite und hängen den an. Das ist meist ohnehin die bessere Frage, weil sie auf den Teil zeigt, auf den es ankommt.

Sie können zum Bild sprechend oder tippend fragen, und die Antwort erscheint in beiden Fällen als Text in der Sitzung.

Eine Frage zu einem Bild, Schritt für Schritt

Dieselben paar Handgriffe, ob die Frage gesprochen oder getippt ist.

1. Öffnen Sie die App und starten Sie eine Sitzung. Wählen Sie eine passende Vorlage – etwa Programmieraufgabe für eine Frage zu Code – oder schreiben Sie eigene Anweisungen.
2. Um laut zu fragen, tippen Sie auf „Starten“ (auf iPad und Mac „Sitzung starten“), damit der Assistent zuhört. Zum Tippen nutzen Sie das Feld „AI fragen oder Kontext einfügen…“.
3. Tippen Sie auf iPhone oder iPad auf „Anhängen“ und wählen Sie „Dateien“, „Fotos“ oder „Kamera“; dann wählen Sie das Bild aus oder nehmen es auf.
4. Wählen Sie auf dem Mac unter „Anzeige“ den Bildschirm oder das Fenster und klicken Sie dann auf „Screenshot“. Die Aufnahme geht sofort an den Assistenten.
5. Stellen Sie Ihre Frage dazu: „Was bedeutet dieser Fehler?“, „Was will Feld 7 in diesem Formular wissen?“, „Was sagt dieses Diagramm über den März?“
6. Trifft die Antwort nicht, was Sie brauchten, fragen Sie nach oder hängen Sie ein deutlicheres Bild an.

Screenshot zeigen, Lösung bekommen

Der Screenshot, den die meisten aus Frust machen, zeigt einen Fehler: einen fehlgeschlagenen Build, einen Dialog mit einem Fehlercode, eine Einstellungsseite, die nicht speichern will. Hängen Sie ihn an und fragen Sie, was schiefgelaufen ist und was Sie ändern sollen. Die Vorlage Programmieraufgabe ist für diese Art Sitzung geschrieben; beginnen Sie damit, wenn es um Code geht.

Auf dem Mac geht das am schnellsten. Wählen Sie unter „Anzeige“ das Fenster mit dem Build-Log oder dem Terminal, klicken Sie auf „Screenshot“ und fragen Sie „Warum schlägt das fehl?“, während Sie noch hinschauen. Braucht die Antwort mehr, als der Bildschirm zeigt, fügen Sie die betreffende Funktion oder Konfiguration ins Textfeld ein. Der Assistent sieht nur, was im Bild ist und was Sie ihm sagen, nicht Ihr ganzes Projekt.

Behandeln Sie die Lösung als Vorschlag einer Kollegin, die einen einzigen Bildschirm Ihres Problems gesehen hat. Lesen Sie sie, bevor Sie sie übernehmen, und starten Sie den Build erneut, statt anzunehmen, dass es geklappt hat.

Schauen Sie vor der Aufnahme, was sonst noch auf dem Bildschirm ist. Ein Terminal kann einen API-Schlüssel zeigen, ein Browser-Tab den Namen eines Kunden, eine Mitteilung die Nachricht eines anderen. Schließen oder beschneiden Sie das vorher; alles im Bild geht mit der Frage mit.

Formulare, Briefe und Speisekarten in einer anderen Sprache

Ein Foto eines Formulars, das Sie nicht lesen können, eignet sich gut für eine laut gestellte Frage: Was will jedes Feld wissen, welche Kästchen betreffen mich, was steht im Kleingedruckten unten? Dasselbe gilt für einen Brief von einem Amt, einen Aushang an einer Tür, eine Speisekarte oder die Anleitung auf einer Packung.

Fragen Sie in Ihrer eigenen Sprache und stellen Sie die Frage, die Sie tatsächlich haben: „Übersetze diese Speisekarte und sag mir, welche Gerichte ohne Fleisch sind“ bringt Sie weiter als „Was steht da?“

Wo es darauf ankommt, prüfen Sie nach. Der Assistent erklärt ein Formular; er füllt es nicht für Sie aus, und seine Erklärung ist keine beglaubigte Übersetzung. Bei einem amtlichen Formular – Steuer, Einwanderung, eine medizinische Einwilligung – nutzen Sie die Antwort, um zu verstehen, was gefragt ist, und klären es dann mit der ausstellenden Stelle oder einer Fachperson, bevor Sie unterschreiben.

Ein Live-Gespräch Satz für Satz zu übersetzen, ist eine andere Aufgabe, die „Übersetzen“ übernimmt. Das ist ein App-weiter Schalter, der an bleibt, bis Sie ihn ausschalten, und solange er an ist, wird alles, was Sie sagen oder tippen, in die Sprache bei „Nach“ übersetzt – haben Sie ihn vorher benutzt, prüfen Sie ihn also, bevor Sie zu einem Bild fragen.

Diagramme, Folien und Whiteboards

Ein Diagramm ist ein Bild von Zahlen, und eine Frage dazu ist meist eine von dreien: Was zeigt es, was hat sich verändert, und sagt es wirklich, was die vortragende Person behauptet? Machen Sie einen Screenshot vom Diagramm – auf dem Mac vom Fenster, in dem es geöffnet ist – und fragen Sie. Wo eine Zahl zählt, lesen Sie sie an der Quelle ab, nicht aus der Antwort.

Ein Whiteboard am Ende eines Meetings ist dasselbe Problem in Filzstift. Fotografieren Sie es, bevor jemand es abwischt, und fragen Sie dann, welche Entscheidungen darauf stehen, oder lassen Sie sich das Schaubild als Liste geben. Handschrift ist schwerer zu lesen als Gedrucktes; wo ein Wort zählt, gleichen Sie es mit der Tafel ab.

Für Folien, die in einem Videoanruf auf dem Mac gezeigt werden, wählen Sie unter „Anzeige“ das Fenster des Anrufs und klicken auf „Screenshot“, wenn die gewünschte Folie zu sehen ist. Wechselt die Folie und Sie haben eine neue Frage, machen Sie einen neuen.

Ein Bild, das der Assistent lesen kann

Kleinigkeiten machen einen großen Unterschied für die Antwort.

• Beschneiden Sie auf das, worum es geht. Ein ganzer Bildschirm mit dem Fehler in einer Ecke lädt zu einer Antwort über den falschen Teil ein.
• Fotografieren Sie gerade von vorn, bei gutem Licht, mit scharfem Text. Ein verwackeltes Foto eines Formulars ist für jeden ein Ratespiel.
• Sagen Sie, was Sie wissen wollen. „Was ist das?“ bringt eine Beschreibung; „Welches Feld ist mein Geburtsdatum?“ bringt eine Antwort.
• Geben Sie den Kontext, den das Bild nicht zeigt: aus welcher App es stammt, was Sie tun wollten, was Sie schon versucht haben.
• Machen Sie auf iPhone und iPad Screenshots anderer Apps, bevor Sie die Sitzung starten. Eine Live-Sitzung endet, wenn die App in den Hintergrund wechselt; wer mitten in der Sitzung wegwechselt, um etwas aufzunehmen, schließt sie.

Wohin das Bild geht und wofür es nicht gedacht ist

In einer Cloud-Sitzung geht das Bild mit Ihrer Frage an OpenAI, und die Sitzung wird auf Ihrem Gerät gespeichert, ohne Cloud-Synchronisation. Die Server von Arte Soft empfangen weder Ihren Ton noch Transkripte oder Antworten.

Damit liegt es in Ihrer Verantwortung, was Sie fotografieren. Ihre eigene Fehlermeldung, Ihr eigener Brief, eine Speisekarte auf dem Tisch: in Ordnung. Die privaten Unterlagen anderer, der Bildschirm eines Kollegen, der Ausweis eines Fremden: Das dürfen Sie nirgendwohin schicken, so nützlich die Antwort auch wäre.

Und manche Bilder brauchen einen Menschen. Ein Ausschlag, ein MRT-Bild, eine Vertragsklausel, eine Warnleuchte im Armaturenbrett: Der Assistent kann beschreiben, was er sieht, und vorschlagen, was Sie fragen sollten, aber er ist kein Arzt, kein Anwalt und kein Mechaniker, und er kann sich selbstsicher irren. Nutzen Sie seine Antwort, um der richtigen Fachperson eine bessere Frage zu stellen, nicht, um sie zu ersetzen.