텍사스의 학생들이 이번 주 STAAR 시험을 보면, 그들은 주의 학교를 평가하는 혁신적인 새로운 방식의 일부가 될 것입니다. 텍사스 교육청(TEA)은 주의 학교평가를 위한 자유 주제 질문에 대한 “자동 평가 엔진”을 도입했습니다. 이 기술은 자연어 처리와 인공지능 챗봇 기술을 활용하여 채점 프로세스를 혁신화하며, 매년 수백만 달러의 비용을 절약할 것으로 기대됩니다.
2023년 재설계된 STAAR 시험에서는 더 많은 자유 주제 질문이 포함되어 채점 면에서 도전이 있었습니다. TEA는 이러한 응답들을 수동으로 채점하는 것이 시간 소비가 많고 비용이 많이 든다는 것을 깨달았습니다. 이 문제에 대응하기 위해 기관은 인간의 채점을 모방하는 자동 평가 시스템을 개발했습니다. 시스템은 3,000개의 응답의 샘플을 사용하여 훈련되었으며, 이러한 응답의 특징들을 학습함으로써 자동 평가 엔진은 미래 학생들의 제출물에 정확하게 점수를 부여할 수 있습니다.
이번 봄 시험에서 컴퓨터는 먼저 모든 생성된 응답들을 채점할 것입니다. 그러나 정확성을 보장하기 위해 응답의 1/4는 인간에 의해 재 채점될 것입니다. 컴퓨터가 자신이 부여한 점수에 대해 낮은 신뢰도를 가지거나 인식하지 못하는 응답을 만나면 해당 응답을 인간 채점자에게 자동으로 송부하여 추가 평가를 받을 것입니다.
TEA는 자동 평가 시스템을 통해 구현된 품질 통제 프로세스가 인간 채점자와 함께 유지될 것임을 강조합니다. 시험 관리자들은 결과의 요약을 매일 확인하여 예상과 일치하는지 확인할 것입니다. 또한 응답의 무작위 샘플을 인간에게 송부하여 리뷰를 받을 것이며, 이는 채점 프로세스의 정확성과 일관성을 보장할 것입니다.
자주 묻는 질문:
1. 자동 평가 시스템이 완전히 인간 채점자를 대체하나요?
아니요, 자동 평가 시스템은 채점 프로세스를 지원하고 간소화하는 데 사용됩니다. 정확성을 보장하기 위해 응답의 1/4는 여전히 인간 채점자에 의해 재 채점될 것입니다.
2. 자동 평가 시스템은 어떻게 개발되었나요?
TEA는 인간 채점을 받은 3,000개의 샘플 응답을 수집했습니다. 이러한 응답들은 자동 채점 엔진을 인간 채점자를 모방할 수 있도록 훈련하는 데 사용되었습니다.
3. 컴퓨터가 인식하지 못하는 응답을 만나면 어떻게 되나요?
이러한 경우 응답은 자동적으로 인간 채점자에게 추가 평가를 받기 위해 송부될 것입니다.
4. 자동 평가 시스템으로 품질 통제 프로세스는 어떻게 유지될 것인가요?
시험 관리자들에 의한 결과 요약의 매일적인 검토 및 인간 리뷰를 위한 응답의 무작위 샘플링을 통해 지속적인 품질 통제가 보장될 것입니다.
교육 산업 정보
교육 분야에서 자동 평가 시스템의 구현은 효율성과 평가 과정의 정확성을 개선하기 위해 학교와 테스트 기관들이 노력하는 주목할 만한 추세입니다. 자동 평가 시스템은 빠른 채점, 비용 절감 및 표준화된 채점 기준 등의 중요한 장점을 제공합니다. 이러한 시스템 뒤에 있는 기술은 자연어 처리 및 기계 학습 알고리즘을 포함하고 있어서 자유 주제 응답의 보다 미묘한 평가를 가능하게 합니다.
교육 분야에서의 자동 평가 시스템 시장은 앞으로 몇 년 동안 크게 성장할 것으로 예상됩니다.
출처:
texastribune.org
The source of the article is from the blog toumai.es