Študenti po celom Texase tento týždeň píšu svoje štandardné testy STAAR a sú súčasťou inovatívnej metódy hodnotenia škôl v štáte. Texaská výchovná agentúra (TEA) zaviedla „automatizovaný hodnotiaci engine“ pre otvorené otázky na Štátnom hodnotení akademickej pripravenosti (STAAR) testoch. Táto technológia, ktorá využíva spracovanie prirodzeného jazyka a technológiu umelej inteligencie chatbot, zmení proces hodnotenia, pričom ročne ušetrí štátnu agentúru milióny dolárov.
S prepracovanými testami STAAR v roku 2023 nastala výzva v oblasti hodnotenia vzhľadom na zahrnutie viac otvorených otázok. TEA si uvedomila, že ručné hodnotenie týchto odpovedí je časovo náročné a nákladné. V úsilí vyriešiť túto otázku agentúra vyvinula automatizovaný systém hodnotenia, ktorý mimikuje ľudské hodnotenie. Systém bol otestovaný na vzorke 3 000 odpovedí, ktoré boli hodnotené dvoma kolami ľudskými hodnotiteľmi. Tým, že sa naučil charakteristiky týchto odpovedí, môže automatizovaný hodnotiaci engine presne priraďovať body k budúcim študentským podaniam.
Počítač bude počas tohtoročných skúšok najskôr hodnotiť všetky vytvorené odpovede. Avšak pre zabezpečenie presnosti bude štvrtina odpovedí znova ohodnotená ľuďmi. Ak počítač má malú dôveru vo svoje pridelené skóre alebo narazí na odpoveď, ktorú nevie rozpoznať, automaticky posunie odpoveď hodnotiteľovi na ďalšie hodnotenie.
TEA zdôrazňuje, že procesy kontroly kvality implementované s ľudskými hodnotiteľmi zostanú zachované aj pri automatizovaných hodnotiacich systémoch. Správcovia testov budú denne hodnotiť zhrnutie výsledkov, aby sa uistili, že sú v súlade s očakávaniami. Okrem toho bude náhodný vzorkový výber odpovedí odovzdaný ľuďom na ďalšie preskúmanie, čím sa ďalej garantuje presnosť a konzistencia procesu hodnotenia.
Zatiaľ čo TEA uvádza, že hodnotiaci engine sa nepovažuje za umelej inteligenciu, pedagógovia a rodičia vyjadrili obavy. Niektorí pedagógovia boli prekvapení rozhodnutím implementovať automatizovanú technológiu a vyjadrujú potrebu zhody a dôkladného preskúmania jej spravodlivosti. Agentúra však tvrdí, že hodnotiaci systém nemá autonómne schopnosti a výlučne sa spolieha na svoj pôvodný programový kód.
Časté otázky:
1. Bude automatizovaný hodnotiaci systém úplne nahradiť ľudských hodnotiteľov?
Nemal by; automatizovaný hodnotiaci systém je navrhnutý tak, aby pomáhal a zjednodušoval proces hodnotenia. Štvrtina odpovedí stále bude znova hodnotená ľudskými hodnotiteľmi s cieľom zaručiť presnosť.
2. Ako bol vyvinutý automatizovaný hodnotiaci systém?
TEA zhromaždila vzorku 3 000 odpovedí, ktoré boli hodnotené ľuďmi. Tieto odpovede boli potom použité na trénovanie automatizovaného hodnotiaceho enginu tak, aby napodobňoval ľudských hodnotiteľov.
3. Čo sa stane, ak počítač narazí na odpoveď, ktorú nevie rozpoznať?
V takých prípadoch bude odpoveď automaticky odoslaná hodnotiteľovi na ďalšie preskúmanie.
4. Ako sa budú udržiavať procesy kontroly kvality s automatizovaným hodnotiacim systémom?
Denné kontroly zhrnutia výsledkov testov správcami testov a náhodný výber odpovedí na ľudské preskúmanie zabezpečia neustálu kontrolu kvality.
Implementácia automatizovaného hodnotiaceho systému predstavuje významný míľnik v hodnotení texaských študentov. Využitím technológie a umelej inteligencie je TEA schopná zjednodušiť proces hodnotenia a nakoniec ušetriť cenný čas a zdroje. Aj keď boli vyjadrené obavy, záväzok agentúry k dohľadu a udržiavaniu procesov kontroly kvality zaručuje presnosť a spravodlivosť hodnotiaceho systému. Vzhľadom na neustále rozvíjajúcu sa oblasť vzdelávania je dôležité prijať inovatívne riešenia, ktoré zlepšujú hodnotenie študentských výkonov.
Zdroje:
texastribune.org
The source of the article is from the blog maltemoney.com.br