Opiskelijoiden istuessa STAAR-kokeisiin Teksasissa tällä viikolla, he osallistuvat maan koulujen arvioinnissa vallankumouksellisella uudella tavalla. Teksasin koulutusvirasto (TEA) on ottanut käyttöön ”automatisoidun pisteytysmoottorin” avointen kysymysten arvioimiseksi Teksasin akateemisen valmiuden arviointikokeissa (STAAR). Tämä teknologia, joka hyödyntää luonnollisen kielen käsittelyä ja tekoälychaatteknologiaa, vallankumoustaa pisteytysprosessin säästäen valtioiden virastolle miljoonia dollareita vuosittain.
STAAR-testin uudelleen suunnittelussa vuonna 2023 lisättiin haaste pisteytyksen suhteen, kun mukaan otettiin enemmän avoimia kysymyksiä. TEA huomasi, että näiden vastausten manuaalinen pisteytys oli aikaa vievää ja kallista. Ratkaistakseen tämän ongelman virasto kehitti automatisoidun pisteytysjärjestelmän, joka matkii ihmisten pisteytystä. Järjestelmää koulutettiin 3000 vastauksen kenttänäytteellä, jotka kävivät läpi kaksi kierrosta ihmisten arviointia. Oppimalla näiden vastausten ominaispiirteet automatisoitu pisteytysmoottori osaa tarkasti antaa pisteitä tuleville opiskelijoiden vastauksille.
Kevään kokeissa tietokone arvioi ensin kaikki rakenteelliset vastaukset. Kuitenkin varmistaakseen tarkkuuden, neljännes vastauksista arvioidaan uudelleen ihmisten toimesta. Jos tietokoneella on matala luottamus arvioituun pisteeseen tai se kohtaa vastauksen, jota se ei tunnista, se ohjaa vastauksen automaattisesti ihmisen arvioitavaksi lisätarkastelua varten.
TEA korostaa, että laadunvarmistusprosessit, jotka on otettu käyttöön ihmisten pisteyttäjien kanssa, pysyvät paikallaan automatisoidun pisteytysjärjestelmän kanssa. Kokeen järjestäjät käyvät läpi tulosten yhteenvedon päivittäin varmistaakseen niiden vastaavan odotuksia. Lisäksi vastausten satunnaisnäyte annetaan ihmisten arvioitavaksi, mikä varmistaa pisteytyksen prosessin tarkkuuden ja yhdenmukaisuuden.
Vaikka TEA selventää, että pisteytysmoottoria ei pidetä tekoälynä, kasvattaa huolta kasvattajien ja vanhempien keskuudessa. Jotkut kasvattajat yllättyivät päätöksestä ottaa käyttöön automatisoitu teknologia, ja he vaativat konsensusta ja perusteellista arviointia sen oikeudenmukaisuudesta. Virasto kuitenkin korostaa, että pisteytysjärjestelmällä ei ole itsenäisiä kykyjä ja se luottaa yksinomaan alkuperäiseen ohjelmointiinsa.
**UKK:**
1. Korvataanko automatisoitu pisteytysjärjestelmä kokonaan ihmisten pisteyttäjät?
Ei, automatisoitu pisteytysjärjestelmä on suunniteltu avustamaan ja virtaviivaistamaan pisteytysprosessia. Neljännes vastauksista arvioidaan edelleen ihmisten toimesta tarkkuuden varmistamiseksi.
2. Kuinka automatisoitu pisteytysjärjestelmä kehittyi?
TEA keräsi 3000 vastauksen näytteen, jotka kävivät läpi ihmisten arvioinnin. Nämä vastaukset käytettiin kouluttamaan automatisoitua pisteytysmoottoria matkimaan ihmisten arvioijia.
3. Mitä tapahtuu, jos tietokone kohtaa vastauksen, jota se ei tunnista?
Tällaisissa tapauksissa vastaus ohjataan automaattisesti ihmisen arvioitavaksi lisätarkastelua varten.
4. Kuinka laadunvarmistusprosesseista pidetään kiinni automatisoidussa pisteytysjärjestelmässä?
Päivittäiset yhteenvedot tuloksista kokeen järjestäjien toimesta ja vastausten satunnainen otos ihmisten arvioitavaksi takaavat jatkuvan laadunvalvonnan.
Automatisoidun pisteytysjärjestelmän käyttöönotto merkitsee merkittävää virstanpylvästä Teksasin opiskelijoiden arvioinnissa. Hyödyntämällä teknologiaa ja tekoälyä TEA pystyy virtaviivaistamaan pisteytysprosessia säästäen arvokasta aikaa ja resursseja. Vaikka huolia on esitetty, viraston sitoutuminen valvontaan ja laadunvarmistusprosessien ylläpitäminen varmistavat pisteytysjärjestelmän tarkkuuden ja oikeudenmukaisuuden. Koulutuksen jatkaessa kehittymistään on tärkeää omaksua innovatiivisia ratkaisuja, jotka parantavat opiskelijoiden suorituksen arviointia.
**Lähteet:**
texastribune.org
The source of the article is from the blog agogs.sk