Число запросов на пересчёт баллов по экзаменам STAAR почти утроилось по сравнению с прошлым годом, поскольку всё больше школ Техаса просили пересмотреть письменные ответы по экзаменам по чтению, тысячи из которых первоначально оценивались компьютером.

Осенью 2023 года Техасское агентство образования начало использовать автоматизированный механизм оценки для выставления баллов за развернутые ответы в рамках экзаменов State of Texas Assessments of Academic Readiness (STAAR), включая тесты по чтению и английскому языку; при этом около четверти результатов экзаменов вручную проверялись людьми.

Весной 2024 года штат зафиксировал 2 758 запросов на пересчёт оценок за развернутые ответы по экзаменам по чтению. Годом ранее их было 21 620. Этой весной число запросов выросло до 64 489.

Между тем количество исправлений (когда после пересчёта балл менялся) удвоилось по сравнению с предыдущим годом. После проверок государство улучшило более 13 300 оценок по чтению. Из них людям первоначально были выставлены 42%, тогда как компьютером оценивалось 58%. Все повторные перерасчёты проводились людьми.

Рост осведомлённости

Эллисон Матни, директор Техасского центра школьной подотчётности, сказала, что исторически администраторам округов редко приходилось просить о пересчёте STAAR. Она объяснила рост числа запросов повышением осведомлённости о процессе автоматизированной оценки и возможности пересмотра.

«Разговоры суперинтендантов друг с другом — и то, что об этом продолжают писать СМИ — сделали больше округов осведомлёнными о том, что не только они могут провести этот процесс, но на самом деле им стоит это делать, и им нужно», — сказала Матни.

Использование автоматизированной оценки развернутых ответов со стороны штата сначала подверглось критике после всплеска нулевых баллов у учащихся на письменных заданиях в первой серии экзаменов, оценённых компьютерами. Сотрудники агентства, однако, указывали и на другие причины низких оценок в 2023 году, в том числе на то, что многие учащиеся сдавали экзамен повторно.

Чиновники подчёркивали, что автоматизированная компьютерная оценка отличается от генеративного искусственного интеллекта, такого как ChatGPT или Gemini от Google, поскольку эта программа «не учится» от одного ответа к другому.

Модель автоматической оценки

Представитель агентства Джейк Коберски заявил, что проверка эссе вручную потребовала бы в четыре-пять раз больше людей-оценщиков и стоила бы дополнительно 15–20 миллионов долларов в год. Это также привело бы к задержке в выдаче результатов для округов, добавил он.

«TEA использует гибридную модель, где центром оценки остаются эксперты-человеки. … В результате получается система, которая сохраняет человеческое суждение в центре оценки, применяет его там, где это наиболее важно, и предоставляет результаты округам и семьям быстрее, чем позволил бы ручной пересчёт каждого ответа», — сказал Коберски.

Более 3,2 миллиона техасских учащихся сдавали весной экзамен по чтению STAAR, включая третьи-до восьмых классы, а также тех, кто проходил экзамены уровня старшей школы English I и English II. В сумме изменения коснулись менее 0,5% всех развернутых ответов в экзаменах по чтению.

TEA начала внедрять автоматизированную оценку после того, как штат переработал экзамен STAAR, уменьшив число тестовых вопросов с выбором ответа и увеличив долю развернутых ответов, также называемых конструктивными ответами.

Для разработки компьютерной системы оценки TEA собрала тысячи ответов, ранее оценённых людьми. По этой выборке компьютер «научился» особенностям ответов и был запрограммирован присваивать те же оценки, что и человек.

Запросы на пересчёт

Более 250 сетей публичных чартеров и школьных округов, включая Cypress-Fairbanks, Dallas, Katy и Northside, подали запросы на пересчёт в этом году. Почти в 90% случаев по крайней мере один пересмотренный экзамен по чтению показал повышение балла, согласно данным агентства.

Рэйчел Уайт, доцент по образовательному лидерству и политике в Техасском университете в Остине, сказала, что расстраивает и печалит то, что школьной администрации приходится тратить время и деньги на анализ результатов своих учеников и на подачу тысяч запросов на пересчёт.

«Утроение количества запросов, по-моему, говорит о том, что педагоги, читающие эссе своих учеников, всё чаще не согласны с выставленными оценками», — сказала Уайт. «Итак, независимо от того, исходил ли этот балл от машины или от человека, это, по-моему, указывает на некоторую проблему доверия к тому, как эти работы оцениваются».

Рейтинги и последствия

Публичные школы и округа получают рейтинги по системе A–F на основе числа учащихся, достигших определённых уровней успеваемости на STAAR. Когда кампусы несколько лет подряд показывают низкие результаты по тесту, законодательство штата позволяет комиссару по образованию Техаса Майку Морату принимать меры, включая назначение консерватора или замену избранного местного школьного совета.

«Если образовательный руководитель считает, что ваш тест был оценён в некое значение, но он действительно полагает, что он должен был быть на несколько баллов выше, это может поднять вас из категории непроходящего в проходящую», — сказала Матни. «Для отдельного ученика это может означать всё: от возможности выпускаться до освобождения от часов по коррекции в следующем классе».

Автоматический пересчёт

TEA автоматически пересчитывало расширенные конструктивные ответы учеников бесплатно, если экзамен отличался от порога следующего уровня успеваемости на один балл. Эти четыре уровня, которые отражают, как ученики показали себя относительно их класса, — это: не соответствует, близко, соответствует и превосходит.

Представители некоторых округов заявили, что процесс автоматического пересчёта TEA для учеников, находившихся на грани достижения следующего уровня, освободил их бюджеты и позволил подать на пересчёт больше учащихся. Один из округов сказал, что поскольку TEA автоматически пересматривало результаты учащихся, которым не хватало одного балла, они подали на пересчёт также учащихся, которым не хватало двух баллов.

В заявлении представители Dallas ISD сообщили, что округ подал запрос на пересчёт, потому что посчитал, что ученики выигрывают, когда их ответы просматривают человеческие оценщики. В общей сложности округ подал более 5 100 тестов по чтению на пересчёт, и 34% из них вернулись с повышенным баллом.

Представители Dallas ISD оценили, что комбинированные автоматические и запрошенные округом пересчёты помогли пяти кампусам во втором по величине школьном округе штата улучшить свои общие рейтинги до официального их открытия. Один кампус поднялся с D до C, и четыре кампуса с C до B, согласно заявлению DISD.

Школьные округа должны платить 50 долларов за тест, если они запрашивают пересчёт и балл ученика не меняется. Пересчёт бесплатен для округов, если балл изменяется.

Представитель North East ISD Обри Ченслор сказала, что округ не подавал запросов после изучения оценок нескольких учащихся и определения, что это не принесло бы пользы ни оценкам, ни рейтингам кампусов.

Процесс пересчёта TEA проходил до публикации рейтингов подотчётности A–F в августе.

Меган Менчака — старшекурсница Техасского университета в Остине и возвращающаяся стажёрка по репортёрской работе в The Texas Tribune. Газета The Texas Tribune является единственной медиаорганизацией штата, ориентированной в первую очередь на цифровую публикацию, не принадлежащей какой-либо партии и финансируемой в части за счёт пожертвований членов, фондов и корпоративных спонсоров. Финансовые спонсоры не участвуют в редакционной работе.

Эта статья впервые появилась в The Texas Tribune.