Під час проведення цього року іспитів STAAR в Техасі учні стануть учасниками першопрохідної нової методики оцінки шкіл штату. Агентство освіти Техасу (TEA) впровадило “автоматизований двигун оцінювання” для відкритих питань на іспитах з оцінки академічної готовності штату Техас (STAAR). Ця технологія, яка використовує обробку природної мови та штучний інтелект технологію чат-ботів, революціонізує процес оцінювання, річна економія державного агентства складає мільйони доларів.
Змінений тест STAAR у 2023 році став викликом у плані оцінювання, з включенням більшої кількості відкритих питань. Ручне оцінювання цих відповідей було затратним у часі та грошах. Щоб вирішити цю проблему, агентство розробило автоматизовану систему оцінювання, яка імітує оцінку людини. Система була навчена на вибірці 3 000 відповідей, які пройшли два раунди оцінювання людиною. Вивчаючи характеристики цих відповідей, автоматизований двигун оцінювання може точно призначати бали для майбутніх подань студентів.
Під час цьогорічних іспитів комп’ютер спочатку оцінить всі конструктивні відповіді. Однак, для забезпечення точності, чверть відповідей буде переоцінено людьми. Якщо комп’ютер має низьку впевненість у призначеному балі або стикається з відповіддю, яку він не впізнає, він автоматично направить відповідь на переоцінку людини для подальшої оцінки.
TEA підкреслює, що процеси контролю якості, що впроваджуються з людськими оцінювачами, будуть збережені застосовані з автоматизованою системою оцінювання. Адміністратори тестування щодня переглядатимуть підсумкові результати, щоб переконатися, що вони відповідають очікуванням. Крім того, випадкову вибірку відповідей передадуть на перевірку людині, додатково гарантуючи точність та послідовність процесу оцінювання.
Хоча TEA пояснює, що систему оцінювання не вважають штучним інтелектом, вчитель та батьки висловлюють певні обгрунтовані вагання. Деякі вчителі були здивовані рішенням впровадити автоматизовану технологію, та висловлюють необхідність узгодження та ретельної оцінки її справедливості. Агентство, однак, стверджує, що система оцінювання не має автономних можливостей і виключно покладається на свою початкову програму.
Часті питання
1. Чи повністю замінить автоматизована система оцінювання людських оцінювачів?
Ні, автоматизована система оцінювання призначена для підтримки та оптимізації процесу оцінювання. Четверть відповідей продовжать переоцінювати людські оцінювачі, щоб забезпечити точність.
2. Як була розроблена автоматизована система оцінювання?
TEA зібрала вибірку з 3 000 відповідей, які пройшли оцінку людини. Ці відповіді використовувались для навчання автоматизованого двигуна оцінювання, щоб імітувати людських оцінювачів.
3. Що відбувається, якщо комп’ютер стикається з відповіддю, яку він не впізнає?
У таких випадках відповідь автоматично передається для додаткової перевірки людині.
4. Як зберігатимуться процеси контролю якості з автоматизованою системою оцінювання?
Щоденний перегляд підсумкових результатів адміністраторами тестувань та випадкова вибірка відповідей для перевірки людині забезпечать постійний контроль якості.
Впровадження автоматизованої системи оцінювання стало значним досягненням у оцінці студентів Техасу. Використовуючи технології та штучний інтелект, TEA може оптимізувати процес оцінювання, що в кінцевому підсумку заощаджує коштовний час і ресурси. Хоча існують певні обурення, зобов’язання агентства з нагляду та збереження якості забезпечують точність та справедливість системи оцінювання. Уміння до інноваційних рішень, що покращують оцінку успішності студентів, надто важливе в сучасній освіті.
Джерела:
texastribune.org
The source of the article is from the blog elperiodicodearanjuez.es