הקינמטיקה הדיגיטלית היא גישה מתקדמת בתחום המדעי המחשב והלמידה העמוקה, שמאפשרת למחשבים ליצור תוכן חזותי יוצא דופן. במסגרת מודלי הנפיצות, המחשבים משתמשים בתהליך של שיפור גרסה רעשנית באופן דרגואלי על מנת ליצור תמונות או סרטונים ברורים. עד כה, התהליך הזה היה מאוד זמן רב, מחייב מספר רב של איטרציות כדי להשלים את התוצאה הסופית. ואז, הגיע הרגע שנמצאים בו.
חוקרים בטכניון, במעבדת המחשבים והבינה המלאכותית של MIT (CSAIL), פיתחו שיטת עבודה חדשנית המהפכת את הדרך שבה מודלים מתחזקים עובדים. על ידי פשטת התהליך רב-שלבי לשלב אחד, הגישה החדשה שלהם, הידועה כקינמטיקת ההתאמה להתפלגות (Distribution Matching Distillation), מפחיתה באופן משמעותי את זמן החישוב בעת ששומרת על איכות התוכן החזותי שנוצר.
בניגוד לשיטות קודמות שהיו מתבססות על שיפור ריבוי, גישת ה-DMD משתמשת במודל מורה-תלמיד, כאשר מודל מחשב חדש לומד להדמות את ההתנהגות של מודלים מקוריים יותר מורכבים. טכניקה זו מבטיחה יצירת תמונות מהירה מבלי להתפשר על האיכות. למעשה, ה-DMD עולה על מודלי נפיץ קודמים כמו Stable Diffusion ו-DALLE-3 מבחינת מהירות, יוצרת תמונות עד 30 פעמים מהר יותר.
המפתח להצלחת ה-DMD נמצא בשיטת הגישה הדו-רכיבית שלה. ראשית, היא משתמשת ב-Regression Loss על מנת למפתח ולצבור את תהליך ההכשרה. לאחר מכן, היא משתמשת ב-Distribution Matching Loss לסטודר שהתמונות שנוצרות מתאימות לתדירויות האירועים בעולם האמיתי. בעזרת ידען של שני מודלים נפיץ, ה-DMD מסיסה את הריכולות של המודלים המקוריים לתוך יותר פשוט ומהיר, משלבת בינות בעיות רגיזה וקריסת מצב.
על מנת להכשיר את המודל החדש, החוקרים השתמשו ברשתות שכבר התאמנו וכוונו את הפרמטרים שלהן בהתבסס על המודלים המקוריי. זה אפשר תכליתיות מהירה ואת היכולת ליצר תמונות באיכות גבוהה עם אותה בסיס ארכיטקטוני. ה-DMD מראה ביצועים עקביים גם במובחנים שונים, ומתמודד עם תוצאותיה של מודלים מורכבים יותר בנוגע לאיכות יצירת תמונות.
למרות שה-DMD הוא פריצה חשובה, עדיין יש עדיין מקום לשיפור. איכות התמונות שנוצרות תלויה ביכולות המודל המורה שנמצא בשימוש במהלך ההתיישנות. לדוגמה, ציור פרטי ופנים קטנות עדיין עשויים להיות מאתגרים. עם זאת, עם התקדמות במידע ובידע זה, המוגבלויות האלו יכולות להתגבר, משפרות את התמונות הנוצרות.
ההשלכות של המודל הדיגיטלי בשלב אחד הן רחבות. כלים לעיצוב יכולים להתרחש, מאפשרים ליצור מהר תוכן. ענפים כמו גילוי תרופות ועיצוב בתלת-מימד יכולים להרוויח מתהליכים מהירים ויעילים יותר. ה-DMD מרחיב את האפשרויות לעריכה בזמן אמת שמשלבת בין הגמישות והאיכות הגבוהה של מודלי הנפיץ עם הביצועים של רשתות ה-GANs.
עם התצוגה של קבוצת המחקר בכנס על חיזוק התזה ותבנית זיהוי מחשביות ביוני, מתבהר כי עתיד יצירת התמונות מתפתח במהירות. השילוב בין מהירות, איכות ויעילות שמספק המסגרת ה-DMD מהווה ציון דרך חשוב בתחום המדעי המחשבי.
The source of the article is from the blog toumai.es