Analyser une capture d'écran ou une photo avec l'IA

Ce que l'assistant peut regarder

Des images : une capture d'écran, une photo de votre photothèque, ou une photo prise exprès avec l'appareil photo. L'assistant regarde l'image entière et lit le texte qu'elle contient : une capture d'un message d'erreur vaut donc le message collé, et souvent mieux, car elle montre aussi où l'erreur est apparue.

Uniquement des images. Il n'ouvre pas les PDF, les documents ni les fichiers audio. Si ce qui vous intéresse est une page d'un long document, faites une capture de cette page et joignez-la. C'est souvent la meilleure question de toute façon, car elle désigne la partie qui compte.

Vous pouvez poser votre question sur l'image à l'oral ou par écrit, et la réponse s'affiche en texte dans la session dans les deux cas.

Interroger l'IA sur une image, étape par étape

Les mêmes quelques gestes, que la question soit dite ou tapée.

1. Ouvrez l'app et lancez une session. Choisissez un modèle s'il y en a un d'adapté — Tâche de codage pour une question sur du code, par exemple — ou écrivez vos propres instructions.
2. Pour poser la question à l'oral, touchez Commencer (Démarrer la session sur iPad et Mac) pour que l'assistant écoute. Pour l'écrire, utilisez le champ « Demandez à l'IA ou collez le contexte… ».
3. Sur iPhone ou iPad, touchez Joindre et choisissez Fichiers, Photos ou Appareil photo, puis sélectionnez l'image ou prenez la photo.
4. Sur Mac, choisissez l'écran ou la fenêtre avec Affichage, puis cliquez sur Capture d'écran. La capture est envoyée aussitôt à l'assistant.
5. Posez votre question : « Que veut dire cette erreur ? », « Que faut-il mettre dans la case 7 de ce formulaire ? », « Que dit ce graphique sur le mois de mars ? »
6. Si la réponse ne correspond pas à ce qu'il vous fallait, posez une question complémentaire, ou joignez une image plus nette.

Montrer une capture, obtenir une correction

La capture que la plupart des gens prennent par agacement, c'est une erreur : une compilation qui échoue, une boîte de dialogue avec un code, une page de réglages qui refuse d'enregistrer. Joignez-la et demandez ce qui ne va pas et quoi changer. Le modèle Tâche de codage est écrit pour ce genre de session ; partez de lui quand la question porte sur du code.

Sur Mac, c'est encore plus rapide. Choisissez dans Affichage la fenêtre du journal de compilation ou du Terminal, cliquez sur Capture d'écran, et demandez « pourquoi ça échoue ? » pendant que vous l'avez encore sous les yeux. Si la réponse demande plus que ce que montre l'écran, collez la fonction ou la configuration concernée dans le champ de texte. L'assistant ne voit que ce qu'il y a dans l'image et ce que vous lui dites, pas tout votre projet.

Considérez la correction comme la suggestion d'un collègue qui a vu un seul écran de votre problème. Lisez-la avant de la coller, et relancez la compilation au lieu de supposer que ça a marché.

Avant de capturer, regardez ce qu'il y a d'autre à l'écran. Un terminal peut afficher une clé d'API, un onglet de navigateur le nom d'un client, une notification le message de quelqu'un. Fermez-les ou recadrez d'abord ; tout ce qui est dans l'image part avec la question.

Formulaires, courriers et menus dans une autre langue

La photo d'un formulaire que vous ne savez pas lire se prête bien à une question posée à l'oral : que demande chaque champ, quelles cases me concernent, que disent les petites lignes en bas. Cela marche aussi pour un courrier d'une administration, une affiche sur une porte, un menu ou le mode d'emploi sur un emballage.

Posez la question dans votre langue, et posez celle que vous avez vraiment : « traduis ce menu et dis-moi quels plats sont sans viande » va plus loin que « qu'est-ce que ça dit ? ».

Quand cela compte, vérifiez. L'assistant explique un formulaire ; il ne le remplit pas à votre place, et son explication n'est pas une traduction certifiée. Pour un formulaire officiel — impôts, titre de séjour, consentement médical —, servez-vous de la réponse pour comprendre ce qu'on vous demande, puis confirmez auprès de l'organisme qui l'a émis, ou d'un professionnel, avant de signer.

Traduire une conversation en direct phrase par phrase est un autre travail, celui de Traduire. C'est un interrupteur global de l'app qui reste activé jusqu'à ce que vous le désactiviez, et tant qu'il l'est, tout ce que vous dites ou tapez est traduit dans la langue « À » — si vous l'avez utilisé plus tôt, vérifiez-le donc avant de poser une question sur une image.

Graphiques, diapos et tableaux blancs

Un graphique est une image de chiffres, et une question à son sujet est généralement l'une de ces trois : que montre-t-il, qu'est-ce qui a changé, et dit-il bien ce que la personne qui le présente prétend qu'il dit. Faites une capture du graphique — sur Mac, de la fenêtre où il est ouvert — et posez la question. Quand un chiffre compte, lisez-le à la source, pas dans la réponse.

Un tableau blanc en fin de réunion pose le même problème, au feutre. Photographiez-le avant qu'on l'efface, puis demandez quelles décisions y figurent, ou demandez le schéma sous forme de liste. L'écriture manuscrite est plus difficile à lire que l'imprimé ; quand un mot compte, vérifiez-le sur le tableau.

Pour des diapos montrées pendant un appel vidéo sur Mac, choisissez la fenêtre de l'appel dans Affichage et cliquez sur Capture d'écran quand la diapo voulue est affichée. Quand la diapo change et que vous avez une nouvelle question, faites-en une autre.

Une image que l'assistant peut lire

De petits détails changent beaucoup la réponse.

• Recadrez sur ce qui vous intéresse. Un écran entier avec l'erreur dans un coin appelle une réponse sur la mauvaise partie.
• Photographiez bien en face, avec une bonne lumière, le texte net. La photo floue d'un formulaire est une devinette pour n'importe qui.
• Dites ce que vous voulez savoir. « C'est quoi ? » donne une description ; « quel champ correspond à ma date de naissance ? » donne une réponse.
• Donnez-lui le contexte que l'image ne montre pas : l'app d'où elle vient, ce que vous essayiez de faire, ce que vous avez déjà tenté.
• Sur iPhone et iPad, faites les captures des autres apps avant de lancer la session. Une session en direct se termine quand l'app passe en arrière-plan : quitter l'app en cours de session pour capturer quelque chose la ferme.

Où va l'image, et à quoi elle ne sert pas

Dans une session cloud, l'image est envoyée à OpenAI avec votre question, et la session est enregistrée sur votre appareil, sans synchronisation cloud. Les serveurs d'Arte Soft ne reçoivent jamais votre son, vos transcriptions ni vos réponses.

Ce que vous photographiez relève donc de votre responsabilité. Votre propre message d'erreur, votre propre courrier, un menu sur une table : aucun problème. Les documents privés de quelqu'un d'autre, l'écran d'un collègue, la carte d'identité d'un inconnu : ce n'est pas à vous de les envoyer où que ce soit, aussi utile que soit la réponse.

Et certaines images demandent une personne. Une éruption cutanée, une radio, une clause de contrat, un voyant allumé sur le tableau de bord d'une voiture : l'assistant peut décrire ce qu'il voit et suggérer quoi demander, mais ce n'est ni un médecin, ni un avocat, ni un garagiste, et il peut se tromper avec aplomb. Servez-vous de sa réponse pour poser une meilleure question au bon professionnel, pas pour le remplacer.