לאחרונה, חוקרי אפל זכו במתן לפרקר בתחום המודעות המלאכותי (AI) על ידי פיתוח מערכת שיכולה להבין באופן מקיף ולחשוף את ההקשר של המסך. מוכרת בשם ReALM (Reference Resolution As Language Modeling), מערכת זו משתמשת במודלים חזותיים חזקים כדי לעסוק במשימה מורכבת של פיצוח התיחסות, ולשנות אותו לבעיה של מודל שפה טהור. על ידי כך, ReALM מאפשרת למערכת הAI להבין הפניות אמיתיות לישויות שבמסך, וכן רמזים הקשריים בשיחות ומידע רקע, מה שמביא לאינטראקשנים יותר טבעיים עם סייענים קוליים.
הבנת ההקשר, כולל הפניות, חשובה לפעולה אופטימלית של סייענים שנשוחחים. עם מעבר זה, המשתמשים מוסרים ביכולת לשאת שאלות על כל דבר שהם רואים במסך שלהם, מספקים חוויית ללא ידיים אמיתית עם סייענים קוליים. ReALM הראתה התקדמות משמעותית בידרושות ביצועים בהשוואה לשיטות קיימות, ואפילו גרמה לGPT-4 לחשוד במשימה ספציפית זו.
אחת החדשניות המובהקות של ReALM נמצאת ביכולתה לשחזר את תכני המסך על ידי פיצוח יישות חזותית על המסך והמיקומים המתאימים להן, יוצרת תיאור מילולי שמקבל באופן מדויק את הסידור החזותי. דרך עדכון דקדוק מודלי שפה בצורה מיוחד לפיצוח היסודי בהתיחסות, חוקרי המערכת הצליחו להוכיח בהצלחה את יעילותה של ReALM בטיפול בהפניות המבוססות על מסך.
בעוד תוכני המחקר כבר מבטיחים מאוד, חשוב להכיר בהגבלות הקיומיות בהרסות על פי פרסום ממוכנת על מסכים. יעדים חזותיים מורכבים יותר, כמו ****לי שבין מספר לתמונות מרובות**** יכולים לדרוש ברורי השתלמות של ראייה ממוחשית וקישורים רב-מודליים.
ההתקדמות של אפל במחקר הAI לוקחת חשיבות מובהקת, במיוחד במערכת הלנדסקאפ של החברה. טכנולוגיית הAI התקדמה מהר ומשמשת תפקיד חשוב בשיפור הפונקציונליות של סייענים קוליים. עם ריאלימ, הAI יכולה להבין ולחשוף עדיפות מסכים, מאפשרת למשתמשים לשאת שאלות אודות כל דבר שהם רואים במסכים שלהם. התקדמות זו מביאה לחוויית ללא ידיים **חיתולות** עם סייענים קוליים.
מערכת ReALM העלתה ביצועים טובים יותר משיטות קיימות, ואפילו עברה את GPT-4 במשימה הספציפית של פיצוח ההתייחסות. אחת מהחדשניות העיקריות של ReALM היא ביכולתה לשחזר את סידור המסך על ידי פיצוח יישות במסך והמיקומים ההתואמים לה, יוצרת תיאור מילולי שמקבל באופן מדויק **את סידור הנופים החזותיים.**. בהתחשב בכך, נראה שישפיע על הAI להתמודד כבר בצורה יעילה עם סוגי הפניות המבוססות על מסך.
The source of the article is from the blog mendozaextremo.com.ar