ถาม AI จากภาพหน้าจอหรือรูปถ่าย พูดหรือพิมพ์ถามก็ได้

ผู้ช่วยดูอะไรได้บ้าง

รูปภาพ ทั้งภาพหน้าจอ รูปจากคลังรูปของคุณ หรือรูปที่ถ่ายด้วยกล้องเพื่อการนี้ ผู้ช่วยดูทั้งภาพและอ่านข้อความในภาพ ภาพหน้าจอของข้อความ error จึงดีพอๆ กับการวางข้อความ error และมักดีกว่า เพราะเห็นด้วยว่า error ขึ้นตรงไหน

รูปภาพเท่านั้น มันไม่เปิด PDF เอกสาร หรือไฟล์เสียง เมื่อสิ่งที่อยากถามคือหน้าหนึ่งในเอกสารยาว ให้จับภาพหน้าจอหน้านั้นแล้วแนบภาพหน้าจอ ซึ่งมักเป็นคำถามที่ดีกว่าอยู่แล้ว เพราะชี้ไปที่ส่วนที่สำคัญ

คุณถามเกี่ยวกับรูปได้ทั้งพูดและพิมพ์ และคำตอบจะขึ้นเป็นข้อความในเซสชันไม่ว่าแบบไหน

ถามเกี่ยวกับรูป ทีละขั้น

แตะไม่กี่ครั้งเหมือนกัน ไม่ว่าจะพูดหรือพิมพ์คำถาม

1. เปิดแอปแล้วเริ่มเซสชัน เลือกเทมเพลตถ้ามีที่เหมาะ เช่น “งานเขียนโค้ด” สำหรับคำถามเรื่องโค้ด หรือเขียนคำสั่งเอง
2. ถ้าจะพูดถาม แตะ “เริ่ม” (บน iPad และ Mac คือ “เริ่มเซสชัน”) ให้ผู้ช่วยฟังอยู่ ถ้าจะพิมพ์ ใช้ช่องที่เขียนว่า “ถาม AI หรือวางบริบท...”
3. บน iPhone หรือ iPad แตะ “แนบ” แล้วเลือก “ไฟล์” “ภาพถ่าย” หรือ “กล้อง” จากนั้นเลือกรูปหรือถ่ายรูป
4. บน Mac เลือกหน้าจอหรือหน้าต่างด้วย “จอแสดงผล” แล้วคลิก “ภาพหน้าจอ” ภาพที่จับได้จะถูกส่งให้ผู้ช่วยทันที
5. ถามคำถามเกี่ยวกับมัน เช่น “error นี้หมายความว่าอะไร” “ช่องที่ 7 ในแบบฟอร์มนี้ถามอะไร” “กราฟนี้บอกอะไรเกี่ยวกับเดือนมีนาคม”
6. ถ้าคำตอบไม่ใช่สิ่งที่ต้องการ ให้ถามต่อ หรือแนบรูปที่ชัดกว่า

ส่งภาพหน้าจอ ได้วิธีแก้

ภาพหน้าจอที่คนส่วนใหญ่แคปตอนหงุดหงิดคือ error ทั้งบิลด์ที่ล้มเหลว หน้าต่างที่มีรหัสข้อผิดพลาด หน้าตั้งค่าที่บันทึกไม่ได้ แนบมันแล้วถามว่าเกิดอะไรขึ้นและต้องแก้อะไร เทมเพลต “งานเขียนโค้ด” เขียนมาสำหรับเซสชันแบบนี้ ให้เริ่มจากเทมเพลตนี้เมื่อคำถามเกี่ยวกับโค้ด

บน Mac วิธีนี้เร็วที่สุด เลือกหน้าต่างที่มี build log หรือเทอร์มินัลใน “จอแสดงผล” คลิก “ภาพหน้าจอ” แล้วถามว่า “ทำไมถึงล้มเหลว” ขณะที่ยังดูอยู่ ถ้าคำตอบต้องการมากกว่าที่หน้าจอแสดง ให้วางฟังก์ชันหรือการตั้งค่าที่เกี่ยวข้องลงในช่องข้อความ ผู้ช่วยเห็นแค่สิ่งที่อยู่ในรูปและสิ่งที่คุณบอก ไม่ใช่ทั้งโปรเจกต์ของคุณ

ให้ถือว่าวิธีแก้เป็นคำแนะนำจากเพื่อนร่วมงานที่เห็นปัญหาของคุณแค่หน้าจอเดียว อ่านก่อนวางลงไป และบิลด์ใหม่ แทนที่จะคิดเอาเองว่าแก้ได้แล้ว

ก่อนแคป ดูว่ามีอะไรอื่นบนหน้าจอบ้าง เทอร์มินัลอาจแสดง API key แท็บเบราว์เซอร์อาจแสดงชื่อลูกค้า การแจ้งเตือนอาจแสดงข้อความของใครบางคน ปิดหรือครอปออกก่อน ทุกอย่างในภาพจะไปพร้อมกับคำถาม

แบบฟอร์ม จดหมาย และเมนูภาษาต่างประเทศ

รูปแบบฟอร์มที่คุณอ่านไม่ออกเป็นคำถามที่ดีที่จะพูดถาม แต่ละช่องถามอะไร ช่องไหนเกี่ยวกับฉัน ตัวหนังสือเล็กๆ ด้านล่างเขียนว่าอะไร ใช้ได้เหมือนกันกับจดหมายจากหน่วยงาน ประกาศที่ติดหน้าประตู เมนู หรือวิธีใช้บนซอง

ถามเป็นภาษาของคุณ และถามสิ่งที่คุณอยากรู้จริงๆ “แปลเมนูนี้และบอกว่าจานไหนไม่มีเนื้อสัตว์” ได้ผลกว่า “นี่เขียนว่าอะไร”

ในเรื่องที่สำคัญ ให้ตรวจสอบ ผู้ช่วยอธิบายแบบฟอร์ม ไม่ได้กรอกให้คุณ และคำอธิบายของมันไม่ใช่คำแปลที่ได้รับการรับรอง สำหรับแบบฟอร์มทางการ เช่น ภาษี ตรวจคนเข้าเมือง ใบยินยอมทางการแพทย์ ใช้คำตอบเพื่อเข้าใจว่าเขาถามอะไร แล้วยืนยันกับหน่วยงานที่ออกแบบฟอร์มหรือกับผู้เชี่ยวชาญก่อนเซ็น

การแปลบทสนทนาสดทีละประโยคเป็นงานอีกแบบ ซึ่งเป็นหน้าที่ของ “แปล” มันเป็นสวิตช์ทั้งแอปที่เปิดค้างไว้จนกว่าคุณจะปิด และขณะเปิดอยู่ ทุกอย่างที่คุณพูดหรือพิมพ์จะถูกแปลเป็นภาษาใน “ถึง” ถ้าเคยใช้ไว้ก่อนหน้า ให้ตรวจก่อนถามเกี่ยวกับรูป

กราฟ สไลด์ และไวต์บอร์ด

กราฟคือรูปของตัวเลข และคำถามเกี่ยวกับกราฟมักเป็นหนึ่งในสามข้อ มันแสดงอะไร อะไรเปลี่ยนไป และมันบอกอย่างที่คนนำเสนอบอกจริงไหม จับภาพหน้าจอกราฟ บน Mac คือหน้าต่างที่เปิดกราฟอยู่ แล้วถาม ถ้าตัวเลขไหนสำคัญ ให้อ่านจากต้นฉบับ ไม่ใช่จากคำตอบ

ไวต์บอร์ดตอนจบประชุมก็เป็นปัญหาเดียวกันในรูปปากกาเมจิก ถ่ายรูปก่อนมีคนลบ แล้วถามว่ามีการตัดสินใจอะไรบนนั้น หรือขอให้แปลงแผนภาพเป็นรายการ ลายมืออ่านยากกว่าตัวพิมพ์ ถ้าคำไหนสำคัญ ให้เทียบกับกระดาน

สำหรับสไลด์ที่แชร์ในวิดีโอคอลบน Mac ให้เลือกหน้าต่างของการโทรใน “จอแสดงผล” แล้วคลิก “ภาพหน้าจอ” เมื่อสไลด์ที่ต้องการขึ้น เมื่อสไลด์เปลี่ยนและคุณมีคำถามใหม่ ก็แคปใหม่

ทำให้รูปอ่านง่ายสำหรับผู้ช่วย

เรื่องเล็กๆ ทำให้คำตอบต่างกันมาก

• ครอปให้เหลือแค่สิ่งที่ถาม ทั้งหน้าจอที่มี error อยู่มุมเดียวชวนให้ได้คำตอบเรื่องส่วนที่ผิด
• ถ่ายตรงๆ แสงดี ตัวหนังสือชัด รูปแบบฟอร์มที่เบลอคือการเดาสำหรับทุกคน
• บอกว่าอยากรู้อะไร “นี่คืออะไร” ได้คำอธิบายทั่วไป “ช่องไหนคือวันเกิดของฉัน” ได้คำตอบ
• ให้บริบทที่รูปไม่ได้แสดง มาจากแอปไหน คุณพยายามทำอะไร ลองอะไรไปแล้วบ้าง
• บน iPhone และ iPad ให้แคปหน้าจอแอปอื่นก่อนเริ่มเซสชัน เซสชันสดจะจบเมื่อแอปไปอยู่เบื้องหลัง การสลับออกไปแคปอะไรกลางเซสชันจึงทำให้เซสชันปิด

รูปถูกส่งไปที่ไหน และไม่ควรใช้กับอะไร

ในเซสชันคลาวด์ รูปจะถูกส่งไปยัง OpenAI พร้อมคำถามของคุณ และเซสชันเก็บอยู่บนอุปกรณ์ของคุณ ไม่มีการซิงก์คลาวด์ เซิร์ฟเวอร์ของ Arte Soft ไม่เคยได้รับเสียง บันทึกถอดเสียง หรือคำตอบของคุณ

สิ่งที่คุณถ่ายจึงเป็นความรับผิดชอบของคุณ ข้อความ error ของคุณเอง จดหมายของคุณเอง เมนูบนโต๊ะ ไม่มีปัญหา แต่เอกสารส่วนตัวของคนอื่น หน้าจอของเพื่อนร่วมงาน บัตรประชาชนของคนแปลกหน้า ไม่ใช่ของที่คุณจะส่งไปที่ไหน ต่อให้คำตอบจะมีประโยชน์แค่ไหน

และบางรูปต้องใช้คน ผื่น ผลสแกน ข้อสัญญา ไฟเตือนบนหน้าปัดรถ ผู้ช่วยบรรยายสิ่งที่เห็นและแนะนำว่าควรถามอะไรได้ แต่มันไม่ใช่หมอ ทนาย หรือช่าง และอาจผิดอย่างมั่นใจ ใช้คำตอบเพื่อถามผู้เชี่ยวชาญที่เหมาะสมได้ดีขึ้น ไม่ใช่เพื่อแทนที่พวกเขา