חוקרים במכון טכנולוגי במסצ'וסטס ובמוסדות אחרים גילו גילוי מעניין אודות מודלים גדולים של שפה (LLMs), דוגמת אלה המשמשים בשיחות עם AI מופתים כמו ChatGPT. מודלים אלה, המורכבים מאוד, לעתים קרובות יכולים לאחזר ולפענח מידע שמאוחסן באמצעות פונקציה לינארית מאוד פשוטה. הממצא הזה מאיר אור על המכניקה שבעקבות הפעולה הזו ויכול להיות לו השלכות על שיפור הדיוק שלהם.
החוקרים פיתחו טכניקה לזיהוי פונקציות לינאריות עבור סוגים שונים של עובדות המאוחסנות בתוך הLLMs. על ידי לימוד הפונקציות האלו, הם הצליחו להשיג תובנות לגבי מה שהמודל יודע על נושאים שונים והיכן המידע הזה אוחסן בתוך המודל. גילו כי גם כאשר המודל מספק תשובה שגויה למובנה, הוא לעתים קרובות עדיין מכיל את המידע הנכון. מה שמרמז כי אולי ניתן להשתמש בפונקציות פשוטות אלו לזיהוי ותיקון שקרים בתוך המודל, וכך להפחית את הסיכוי לתשובות שגויות או בלתי נראיות.
במהלך המחקר, הומצאו החוקרים צורת יצירה חדשה הנקראת "עדשת מאפיינים" כדי למפות איפה מאוחסן מידע ספציפי על קשרים בתוך שכבות המודל. כלי הוויזואליזציה יכול לסייע לחוקרים ולמהנדסים לקבל הבנה טובה יותר של המודל ואולי לזהות ולתקן מידע אי-מדויק.
לעתיד, החוקרים יקוו לחקור עוד על הדרכים שבהן מידע מאוחסן כאשר הוא אינו עוקב אחר דפוסים לינאריים. הם מתכוונים גם להערכת ניסויים עם מודלים שפה ענקיים יותר כדי לראות האם הפונקציות הפשוטות האלו נכונות בגודל רחב יותר. מחקר זה יכול לשפר את ההבנה שלנו של מודלי שפה ולשפר את ביצועיהם בתחומים שונים.
שאלות נפוצות (FAQ)
The source of the article is from the blog kewauneecomet.com