מתואר מסגרת חדשה בשם SecFormer המטמיעה לגביונו את האתגר שבגנין הפרטיות בתהליכי היאחוש במודלי שפות בגודל גדול לבסיס מבנה הטרנספורמר. ההסתמכות המוגברת על שימוש במודלי שפות בענן הביאה לחששות פרטיות, במיוחד כאשר מדובר בנתונים רגישים. חישוב מבוזר עם עיבוד רב שותפים התעורר כפתרון לשימור הפרטיות הנוגעת לנתוני היאחוש תוך שימור הנתונים והפרמטרים של המודל.
SecFormer מתקן גישה חדשנית במטרה למטב את היחס בין ביצועים ליעילות בתהליכי היאחוש. במקום להחליף פעולות לא לינאריות באלטרנטיבות שמתאימות לחישובים מבוזרים, המסגרת דגשה על שיפור עיצוב המודל. מבוצעים המטולעים מוחלפים באלטרנטיבות חדשניות, כגון אלגוריתם פרידה לשמירת הפרטיות על פי פולינומים מקטעים ואלגוריתמים יעילים לשמירת הפרטיות המבוזרים לשכבת התקנה ו-Softmax.
נבדקה את היעילות של המסגרת בעזרת מערך הורודות GLUE עם מודלים טרנספורמר כמו BERTBASE ו-BERTLARGE. בהשוואה לגישות מתקדמות מסוג ומאגרים דרך שיפור עיצוב המודל, SecFormer צפוייה עם יעדה להפתיע ביכולתה לשפר ביצועים ויעילות, עם שיפור ממוצע של 5.6% ו-24.2% בהתאמתן. השוואה למסגרות קיימות המבוססות על עיצוב מודל ואופטימיזציות פרוטוקול ה- SMPC חשפה ש- SecFormer הצליחה לשפר את המהירות ב-3.4 ו-3.2 פעמים בתהליך היאחוש תוך שמירה על רמות ביצוע תואמות.
SecFormer מציגה פתרון קנה-מידה ויעיל לשיפור מודלי שפות בעברית בגודל גדול תוך הבטחת תקני פרטיות צמודים. על ידי אופטימיזציה של היחס בין ביצועים ליעילות דרך שיפורים בכלי עיצוב המודל, SecFormer מבטיחה להתמודד עם החששות הפרטיות שנדבכים בשימוש גובר במודלים שפות בענן. בזכות גישה חדשנית ותוצאות מבטיחות, SecFormer מתאימה ברחביות להיבט המאיץ את היאחוס בנושאי שפה מורכבים.
The source of the article is from the blog jomfruland.net