Dok učenici diljem Teksasa ovog tjedna odrađuju svoje STAAR ispite, bit će dio inovativne nove metode procjene škola u državi. Agencija za obrazovanje Teksasa (Texas Education Agency – TEA) uvela je “automatizirani sustav ocjenjivanja” za slobodna pitanja na ispitima Državne procjene akademskih sposobnosti Teksasa (STAAR). Ova tehnologija, koja koristi obradu prirodnog jezika i tehnologiju umjetne inteligencije četbotova, revolucionirat će proces ocjenjivanja, te godišnje uštedjeti milijune dolara državnoj agenciji.
Redizajniranjem STAAR testova 2023. godine, uključivanje više slobodnih pitanja predstavljalo je izazov u smislu ocjenjivanja. TEA je shvatila da je ručno ocjenjivanje ovih odgovora dugotrajno i skupo. U nastojanju da riješi ovaj problem, agencija je razvila automatizirani sustav ocjenjivanja koji oponaša ljudsko ocjenjivanje. Sustav je treniran na terenskom uzorku od 3.000 odgovora koji su prošli kroz dva kruga ljudskog ocjenjivanja. Učeći karakteristike tih odgovora, automatizirani sustav ocjenjivanja može točno dodijeliti ocjene budućim studentskim dostavljanjima.
Tijekom ovih proljetnih ispita, računalo će prvo ocjenjivati sve izgrađene odgovore. Međutim, kako bi osigurali točnost, četvrtina odgovora bit će ponovno ocijenjena od strane ljudi. Ako računalo ima nisku sigurnost u dodijeljenu ocjenu ili susretne odgovor koji ne prepoznaje, automatski će uputiti odgovor ljudskom ocjenjivaču na daljnju procjenu.
TEA naglašava da će postupci kontrole kvalitete implementirani s ljudskim ocjenjivačima ostati na mjestu sa sustavom automatiziranog ocjenjivanja. Administratori ispitivanja će svakodnevno pregledavati sažetak rezultata kako bi se osiguralo da odgovaraju očekivanjima. Dodatno, slučajni uzorak odgovora bit će proslijeđen ljudima na pregled, dodatno jamčeći točnost i dosljednost procesa ocjenjivanja.
Iako TEA pojašnjava da se sustav ocjenjivanja ne smatra umjetnom inteligencijom, zabrinutosti su izazvali obrazovatelji i roditelji. Neki obrazovatelji su bili iznenađeni odlukom o implementaciji automatizirane tehnologije te izražavaju potrebu za suglasnošću i temeljnom procjenom njezine pravednosti. Agencija, međutim, tvrdi da sustav ocjenjivanja nema samostalne sposobnosti i isključivo se oslanja na svoje izvorno programiranje.
Često postavljana pitanja:
1. Hoće li automatizirani sustav ocjenjivanja potpuno zamijeniti ljudske ocjenjivače?
Ne, automatizirani sustav ocjenjivanja je osmišljen kako bi pomogao i ubrzao proces ocjenjivanja. Četvrtina odgovora će i dalje ponovno provjeriti ljudski ocjenjivači kako bi osigurali točnost.
2. Kako je razvijen automatizirani sustav ocjenjivanja?
TEA je prikupila uzorak od 3.000 odgovora koji su prošli ljudsko ocjenjivanje. Ti odgovori su zatim korišteni za treniranje automatiziranog sustava ocjenjivanja kako bi oponašali ljudske ocjenjivače.
3. Što se događa ako računalo naiđe na odgovor koji ne prepoznaje?
U takvim slučajevima, odgovor će se automatski uputiti ljudskom ocjenjivaču na daljnju procjenu.
4. Kako će se održati procesi kontrole kvalitete uz automatizirani sustav ocjenjivanja?
Dnevni pregledi sažetaka rezultata od strane administratora ispitivanja i slučajno uzorkovanje odgovora za ljudski pregled dodatno će osigurati kontinuiranu kontrolu kvalitete.
Implementacija automatiziranog sustava ocjenjivanja označava značajan korak u procjenjivanju učenika u Teksasu. Iskorištavanjem tehnologije i umjetne inteligencije, TEA može ubrzati proces ocjenjivanja, u konačnici štedeći dragocjeno vrijeme i resurse. Iako su izražene zabrinutosti, predanost agencije nadzoru i održavanju procesa kontrole kvalitete osigurava točnost i pravednost sustava ocjenjivanja. S obzirom na to da se obrazovanje nastavlja razvijati, ključno je prihvatiti inovativna rješenja koja poboljšavaju procjenu studentskog postignuća.
Izvori:
texastribune.org
The source of the article is from the blog procarsrl.com.ar