בתחום הבינה מלאכותית (AI), דיוק הנתונים שומר על משמעות עצומה. גרטל, יישות חדשנית, הזיזה את התחום של AI קדימה על ידי חשיפת מדריך פרוץ ומגוון של Text-to-SQL גלוי כחוץ ומרכזי. הפיתוח הפורץ דרך זה מיועד לזרמון את אימון המודלים של AI ולהעלות את איכות התובנות המבוססות על נתונים במגוון תעשיות.
עיון במדריך
מדריך ה-synthetic_text_to_sql של גרטל, זמין כעת ב-Hugging Face, הוא אוסף מרשים הכולל 105,851 רשומות. מתוך אוסף זה, 100,000 רשומות הוזמנו למטרות הכשרה, בעוד ה-5,851 הנותרים נועדו לבדיקות. בעל כ-23 מיליון טוקנים, כש-12 מיליון מהטוקנים הללו הם מבוססים על SQL, המדריך מתפרש על מגוון רחב של 100 דומיינים או ורטיקלים שונים.
כולל משימות שונות ב- SQL כמו הגדרת נתונים, אחזור, שינוי, ניתוח ודיווח, ומציג רמות שונות של מורכבות ב- SQL.
מה שמבדיל מדריך זה הוא לא רק גודלו, אלא גם המיקום המקפד שלו. הוא משתרע על מידע קונטקסטואלי כגון הצהרות יצירה של טבלה ותצוגה, יחד עם הסברים בשפת אנוש של פונקציות ה- SQL ותגי קונטקסט שמשפרים את אימון המודל. עשירות זו והמגוון בהבטיחות להפחית באופן משמעותי את הזמן והמשאבים שחוויות נתונים בשיפור איכות הנתונים, אשר בדרך כלל אכלו עד ל-80% מתפקידם.
הבנה על חשיבות Text-to-SQL
בעולם המבוסס נתונים של היום, היכולת לחשד מהר ובאופן מדויק בתובנות מבסיסי הנתונים היא עיקרית. Text-to-SQL, פריצה טכנולוגית המאפשרת למשתמשים לשאול בסיסי נתונים באמצעות שפה טבעית, חשובה להפוך את הנתונים לנגישים יותר.
אולם, הפיתוח והשלמת טכנולוגיה כזו נמנעו עקב זמינות לא מספיקה של נתוני אימון מרשימים ומגוונים של Text-to-SQL.
מדריך של גרטל מטרתו לחפש את הפער הזה על ידי ספק משאב נרחב יעיל לאימון של מודלים של Large Language שמתמחים במשימות של Text-to-SQL. מדריך זה לא רק מפלטת גישה דמוקרטית לתובנות מסנני נתונים, אלא גם מפשטת את הפיתוח של יישומי AI המסוגלים להתקשר עם בסיסי נתונים בדרך אינטואיטיבית יותר.
התמודדות עם אתגרים
היצירת מדריך ה-synthetic_text_to_sql של גרטל לא היתה בלתי אפשרית, במיוחד בהבטחת איכות נתונים גבוהה ובחילוף מגבלות רישיוניות המעכבות לעתים קרובות את השימוש והשיתוף של מדריכים קיימים.
גרטל נטמעה באופן אמיץ את מוביל את קשיים אלה על ידי זימונה של הכלי שלה, Navigator, שמנצל מערכת AI כוללת ליצירת נתונים סינתטיים באיכות גבוהה בקנה מידה.
נקודה מרכזית בוידול איכות הנתונים במדריך כללה שימוש ב- LLMs כשפטים — שיטה שהוכיחה יעילות מדהימה בהתאמה לתקני SQL אנושיים לשיפור מידת העברה של המדריך והכרת תקינות שלו עם תקני SQL, ונאמנות להוראות בהשוואה למדריכים אחרים.
מסקנה
השחרור של מדריך ה-synthetic_text_to_sql של גרטל על Hugging Face מייצג הישג נדיב בעולם של נתונים סינתטיים. זה מסמן רגע מהפוך עבור קהילת ה-AI על ידי ספק מדריך גלוי שאינו יואמר בקניין שלו בגודלו ובגוונו. דרך זו, גרטל לא רק ממציא את התקדמותם של טכנולוגיות של Text-to-SQL אלא גם מדגיש את התפקיד המרכזי ששיפור איכות הנתונים משמש בפיתוח מערכות AI יעילות.
שאלות נפוצות
The source of the article is from the blog smartphonemagazine.nl