לשאול בינה מלאכותית על צילום מסך או תמונה, בקול או בהקלדה

על מה העוזר יכול להסתכל

תמונות: צילום מסך, תמונה מהספרייה, או תמונה שצילמתם במצלמה במיוחד בשביל זה. העוזר מסתכל על התמונה כולה וקורא את הטקסט שבה, כך שצילום מסך של הודעת שגיאה טוב בדיוק כמו השגיאה עצמה מודבקת, ולעיתים קרובות טוב יותר, כי הוא מראה גם איפה השגיאה הופיעה.

רק תמונות. הוא לא פותח קובצי PDF, מסמכים או קובצי שמע. כשמה שאתם רוצים לשאול עליו הוא עמוד במסמך ארוך, צלמו מסך של העמוד הזה וצרפו את צילום המסך. בדרך כלל זו גם שאלה טובה יותר, כי היא מצביעה על החלק שחשוב.

אפשר לשאול על התמונה בדיבור או בהקלדה, והתשובה מופיעה כטקסט בסשן בכל מקרה.

לשאול על תמונה, צעד אחר צעד

אותן הקשות ספורות, בין אם השאלה נאמרת ובין אם היא מוקלדת.

1. פתחו את האפליקציה והתחילו סשן. בחרו תבנית אם יש מתאימה — ״משימת תכנות״ לשאלה על קוד, למשל — או כתבו הנחיות משלכם.
2. כדי לשאול בקול, הקישו על ״התחל״ (ב-iPad וב-Mac ״התחל סשן״) כדי שהעוזר יקשיב. כדי להקליד, השתמשו בתיבה ״שאל AI או הדבק הקשר...״.
3. ב-iPhone או ב-iPad, הקישו על ״צרף״ ובחרו ״קבצים״, ״תמונות״ או ״מצלמה״, ואז בחרו את התמונה או צלמו אותה.
4. ב-Mac, בחרו את המסך או החלון ב״תצוגה״, ואז לחצו על ״צילום מסך״. הלכידה נשלחת לעוזר מיד.
5. שאלו את השאלה שלכם עליה: “מה פירוש השגיאה הזאת?”, “מה מבקשים בשדה 7 בטופס הזה?”, “מה הגרף הזה אומר על מרץ?”
6. אם התשובה אינה מה שהייתם צריכים, שאלו שאלת המשך, או צרפו תמונה ברורה יותר.

צילום מסך של שגיאה, ותיקון

צילום המסך שרוב האנשים מצלמים בתסכול הוא שגיאה: בנייה שנכשלה, חלון עם קוד שגיאה, עמוד הגדרות שמסרב לשמור. צרפו אותו ושאלו מה השתבש ומה לשנות. התבנית ״משימת תכנות״ נכתבה לסוג כזה של סשן; התחילו ממנה כשהשאלה עוסקת בקוד.

ב-Mac זה הכי מהיר. בחרו ב״תצוגה״ את החלון עם יומן הבנייה או הטרמינל, לחצו על ״צילום מסך״, ושאלו “למה זה נכשל?” בזמן שאתם עדיין מסתכלים על זה. אם התשובה צריכה יותר ממה שהמסך מראה, הדביקו את הפונקציה או ההגדרה הרלוונטית בתיבת הטקסט. העוזר רואה רק מה שיש בתמונה ומה שאתם אומרים לו, לא את כל הפרויקט שלכם.

התייחסו לתיקון כהצעה של עמית שראה מסך אחד מהבעיה שלכם. קראו אותו לפני שאתם מדביקים אותו, והריצו שוב את הבנייה במקום להניח שזה עבד.

לפני הלכידה, הסתכלו מה עוד יש על המסך. טרמינל יכול להציג מפתח API, כרטיסייה בדפדפן יכולה להציג שם של לקוח, התראה יכולה להציג הודעה של מישהו. סגרו או חתכו אותם קודם; כל מה שבתמונה הולך עם השאלה.

טפסים, מכתבים ותפריטים בשפה אחרת

צילום של טופס שאינכם יכולים לקרוא הוא שאלה טובה לשאול בקול: מה כל שדה מבקש, אילו תיבות רלוונטיות אליי, מה אומרות האותיות הקטנות בתחתית. אותו דבר עובד עם מכתב ממשרד, הודעה על דלת, תפריט, או הוראות על אריזה.

שאלו בשפה שלכם, ושאלו את השאלה שבאמת יש לכם: “תרגם את התפריט הזה ותגיד לי אילו מנות בלי בשר” מביא אתכם רחוק יותר מ“מה כתוב פה”.

כשזה חשוב, בדקו. העוזר מסביר טופס; הוא לא ממלא אותו בשבילכם, וההסבר שלו אינו תרגום מוסמך. לטופס רשמי — מס, הגירה, הסכמה רפואית — השתמשו בתשובה כדי להבין מה מבקשים מכם, ואז אשרו מול המשרד שהנפיק אותו, או מול איש מקצוע, לפני שאתם חותמים.

תרגום של שיחה חיה משפט אחר משפט הוא עבודה אחרת, ש״תרגם״ עושה. זה מתג לכל האפליקציה שנשאר מופעל עד שתכבו אותו, וכשהוא מופעל, כל מה שאתם אומרים או מקלידים מתורגם לשפה שב״שפת יעד״ — אז אם השתמשתם בו קודם, בדקו אותו לפני שאתם שואלים על תמונה.

גרפים, שקופיות ולוחות מחיקים

גרף הוא תמונה של מספרים, ושאלה עליו היא בדרך כלל אחת משלוש: מה הוא מראה, מה השתנה, והאם הוא אומר את מה שמי שמציג אותו טוען שהוא אומר. צלמו מסך של הגרף — ב-Mac, של החלון שבו הוא פתוח — ושאלו. כשמספר חשוב, קראו אותו מהמקור, לא מהתשובה.

לוח מחיק בסוף פגישה הוא אותה בעיה בטוש. צלמו אותו לפני שמישהו מוחק, ואז שאלו מה היו ההחלטות שעליו, או בקשו את התרשים כרשימה. כתב יד קשה יותר לקריאה מדפוס; כשמילה חשובה, בדקו אותה מול הלוח.

לשקופיות שמוצגות בשיחת וידאו ב-Mac, בחרו ב״תצוגה״ את החלון של השיחה ולחצו על ״צילום מסך״ כשהשקופית שאתם רוצים מוצגת. כשהשקופית מתחלפת ויש לכם שאלה חדשה, צלמו שוב.

תמונה שהעוזר יכול לקרוא

דברים קטנים עושים הבדל גדול בתשובה.

• חתכו למה שאתם שואלים עליו. מסך שלם עם השגיאה בפינה אחת מזמין תשובה על החלק הלא נכון.
• צלמו ישר מול הדף, באור טוב, כשהטקסט בפוקוס. צילום מטושטש של טופס הוא ניחוש לכל אחד.
• אמרו מה אתם רוצים לדעת. “מה זה?” מקבל תיאור; “איזה שדה הוא תאריך הלידה שלי?” מקבל תשובה.
• תנו לו את ההקשר שהתמונה לא מראה: מאיזו אפליקציה היא באה, מה ניסיתם לעשות, מה כבר ניסיתם.
• ב-iPhone וב-iPad, צלמו מסך של אפליקציות אחרות לפני שמתחילים את הסשן. סשן חי נגמר כשהאפליקציה עוברת לרקע, כך שמעבר לאפליקציה אחרת באמצע סשן כדי לצלם משהו סוגר אותו.

לאן התמונה הולכת, ולמה היא לא נועדה

בסשן בענן התמונה הולכת ל-OpenAI עם השאלה שלכם, והסשן נשמר במכשיר שלכם, בלי סנכרון לענן. השרתים של Arte Soft אף פעם לא מקבלים את השמע, התמלולים או התשובות שלכם.

לכן מה שאתם מצלמים הוא באחריותכם. הודעת השגיאה שלכם, המכתב שלכם, תפריט על שולחן: בסדר. מסמכים פרטיים של מישהו אחר, המסך של עמית, תעודת זהות של אדם זר: לא שלכם לשלוח לשום מקום, כמה שהתשובה הייתה מועילה.

ויש תמונות שצריכות אדם. פריחה בעור, צילום רנטגן, סעיף בחוזה, נורת אזהרה בלוח המחוונים של הרכב: העוזר יכול לתאר מה הוא רואה ולהציע מה לשאול, אבל הוא לא רופא, לא עורך דין ולא מכונאי, והוא יכול לטעות בביטחון מלא. השתמשו בתשובה שלו כדי לשאול את איש המקצוע הנכון שאלה טובה יותר, לא כדי להחליף אותו.