כאשר תלמידים בטקסס מבצעים את מבחני STAAR שלהם השבוע, הם יהיו חלק משיטת ערכות חדשנית מבית הספר במדינה. סוכנות החינוך בטקסס (TEA) הציגה "מנוע ציון אוטומטי" לשאלות הקשות במבחני ההכנה האקדמית של מדינת טקסס (STAAR). הטכנולוגיה הזו, שמשתמשת בעיבוד שפה טבעית וטכנולוגיית צ'אטבוט עם תובנות מלאכותיות, תהפוך את תהליך ההערכה למהפכה, ותחסוך לסוכנות המדינה מיליוני דולרים בשנתית.
מבחן STAAR המעוצב מחדש בשנת 2023 הביא אתגר בקרב בדיקת התוצאות, עם הכללת שאלות פתוחות יותר. סוכנות חינוך זיהתה כי ניקוד ידני של תגובות אלו דורש זמן רב ועלות. כדי לטפל בבעיה זו, פיתחה הסוכנות מערכת ניקוד אוטומטית שמדמה ניקוד בני אדם. המערכת נכשלה בהכשרת דוגמא שטחית של 3,000 תגובות שעברו שתי סבבי ניקוד על ידי בני אדם. על ידי לימוד מאפייני התגובות הללו, מנוע הציון האוטומטי יכול להקצות ציונים באופן מדויק להגשות תלמידים בעתיד.
במהלך המבחנים של האביב הזה, המחשב יציין בראשון את כל התגובות המבונות. עם זאת, על מנת להבטיח דיוק, רבע התגובות יופנו מחדש על ידי בני אדם. במקרה של אי ביטחון בציון שהוקצה על ידי המחשב או נתקלות בתגובה שהוא אינו מכיר, המחשב יפנה את התגובה באופן אוטומטי לניקוד נוסף על ידי בני אדם להערכה נוספת.
TEA מדגישה כי תהליכי שליטה באיכות שיושמו עם בודקי ניקוד בני אדם יישמרו גם במערכת הניקוד האוטומטית. מנהלי בדיקה יבקרו בסיכום של התוצאות בסיסיות ביומיומיות כדי להבטיח שהן תואמות את הציפיות. בנוסף, דוגמה אקראית של תגובות תימסרו לבני אדם לסקירה, מבטיחה תיקון סופי ואמינות נוספים של תהליך הניקוד.
למרות ש-TEA מבהירה כי מנוע הציון לא מוכר כבינה מלאכותית, קומפטורים בני אדם והורים לא מרוצים. חלק מלמדים הופתעו מההחלטה ליישם טכנולוגיה אוטומטית, והם מבטיחים צורך בהסכמה והערכה מפורטת של צדקנותו. TEA, מצד שני, מצהירה כי מערכת הניקוד אינה רק על פי יכולות אוטונומיות, וסומכת רק על התוכנה המקורית שלה.
שאלות ותשובות
1. Will the automated scoring system completely replace human scorers?
על מנוע הציון האוטומטי אם יחליף מקצועי ניקוד בקצב מלא?
לא, מערכת ניקוד אוטומטית מיועד לסייע ולקצר את תהליך הניקוד. רבע מתגובות עדיין יונתנו לניקוד מחדש על ידי בני אדם כדי להבטיח דיוק.
2. How was the automated scoring system developed?
איך נבנתה מערכת הניקוד האוטומטית?
TEA גייסה דוגמא של 3,000 תגובות שעברו ניקוד של בני אדם. תגובות אלו הובנו לאמן את מנוע הניקוד האוטומטי כדי למדוד את ניקוד מאן אחר.
3. What happens if the computer encounters a response it does not recognize?
מה קורה כאשר המחשב נתקל בתגובה שהוא לא מזהה?
במקרים כאלה, התגובה תופנה באופן אוטומטי לבני אדם להערכה נוספת.
4. How will the quality control processes be maintained with the automated scoring system?
איך יונתנו תהליכי שליטה באיכות עם מערכת הניקוד האוטומטית?
בדיקות יומיומיות של תוצאות סיכום על ידי מנהלי הבדיקה ודוגמא אקראית של תגובות לסקירה שימורי עבור השליטה באיכות מתמיד.
המימוש של מערכת הניקוד האוטומטית מהווה אבן דרך חשובה בהערכת תלמידי טקסס. על ידי הפעלת טכנולוגיה ובינה מלאכותית, TEA יכולה לקצר את התהליכים בניקוד, ובסופו של דבר לחסוך בזמן ומשאבים יקרים. למרות כי הועלו תלונות, החיוביות של הסוכנות לשקיפות ולשמירה על תהליכי בקרה באיכות מבטיחה את הדיוק והצדקנות של מערכת הניקוד. בעולם שהחינוך ממשיך להתפתח, חשוב לקבל פתרונות חדשניים שישדרגו את ההערכה של ביצועי התלמידים.
מקורות:
texastribune.org
The source of the article is from the blog elektrischnederland.nl