Ofqual опубликовал новое исследование, в котором рассматривается потенциальная роль искусственного интеллекта в проверке работ, а также его текущие возможности и ограничения. Вместо окончательных ответов опубликованный рабочий документ предлагает обзор темы, делится нашим текущим видением, выделяет ключевые проблемы и стремится стимулировать дальнейшую дискуссию в секторе. Этот блог представляет собой ознакомительную версию вопросов, с которыми мы сталкиваемся при рассмотрении будущего применения ИИ в проверке работ.

Рабочий документ опирается на серию обсуждений с экспертами в области технологий, организациями, выдающими квалификации, и академиками, которые помогли нам протестировать и оспорить наши представления о потенциальных применениях и ограничениях ИИ в проверке работ. Эти беседы повлияли на нашу текущую позицию и выявили сложные вопросы, которые еще нужно решить.

Текущая позиция Ofqual по использованию ИИ в проверке

Наш вывод ясен: ИИ перспективен для обеспечения качества и обучения проверяющих, но на данный момент он никак не готов заменить людей в проверке работ с высокими ставками. Наша позиция остается неизменной: использование ИИ в качестве единственного механизма для выставления оценок не соответствует нашим действующим правилам.

Такое применение не удовлетворяет нашим требованиям о том, что при вынесении решений по оценкам должна использоваться человеческая оценка.

Кроме того, возможность возникновения предвзятости, неточностей и отсутствия прозрачности в том, как выставляются оценки, может привести к несправедливости в системе. Это было бы недопустимо в процессе проверки работ.

Квалификации с высокими ставками представляют собой социальный контракт между учащимися, педагогами и обществом. Студенты вкладывают годы усилий в образование с обоснованными ожиданиями относительно того, как будет оцениваться их работа и как их квалификации будут восприниматься и приниматься другими. В настоящее время эти ожидания включают проверку экзаменов обученными человеческими экзаменаторами, которые понимают как предмет, так и критерии оценки, и применяют свою академическую оценку справедливо и последовательно.

Квалификации сохраняют ценность только тогда, когда студенты, родители, преподаватели и работодатели уверены в их справедливости, прозрачности и легитимности. Любые изменения в процессе проверки, особенно связанные с автоматизацией, должны быть тщательно продуманы с точки зрения их влияния на это фундаментальное доверие.

Проблемы, которые порождает ИИ в проверке

Текущие ИИ-технологии, особенно большие языковые модели и глубокие нейронные сети, обладают развитыми возможностями, но лишены истинного семантического понимания и способности к человеческой оценке. Эти системы часто функционируют как «черные ящики», что затрудняет даже экспертам объяснить, как были получены конкретные оценки. Эта нехватка прозрачности является серьезной проблемой для поддержания доверия к квалификациям.

Мы должны иметь возможность понять, как определяются оценки. Если объяснения и доказательства того, почему были выставлены те или иные оценки, ненадежны или недоступны, фундаментальный договор об оценивании разрушается.

Базовым принципом, лежащим в основе общественного доверия и восприятия справедливости, является возможность оспорить оценку экзамена и получить ее пересмотр. Однако когда оценки генерируются ИИ, объяснения и доказательства причин выставления тех или иных оценок могут быть ненадежны, недоступны или трудны для интерпретации, что затрудняет обеспечение прозрачности и подотчетности, необходимых для доверия к квалификациям. Необходимо провести гораздо больше работы, чтобы понять и согласовать, что это будет означать в случае, если экзамены будут оцениваться ИИ, а не человеком. Эти вопросы мы более подробно рассматриваем в нашем исследовательском документе.

Кроме того, ИИ-системы могут поддерживать или усиливать предвзятость, присутствующую в данных для обучения, и эмпирические исследования показывают, что производительность может различаться по различным демографическим группам. Обеспечение последовательного и справедливого применения критериев независимо от личности кандидата или проверяющего является основным принципом валидного оценивания.

Прозрачность и справедливость — не просто этические идеалы; они необходимы для поддержания целостности и общественного доверия к квалификациям.

Есть перспективные применения ИИ в проверке, особенно в обеспечении качества работы человеческих проверяющих и в обучении новых экзаменаторов. Эти использования потенциально могут улучшить согласованность оценивания, сохраняя при этом человеческий профессионализм и суждение в центре процесса.

Но важные оговорки, которые мы изложили, остаются. Кроме того, эффективность ИИ в проверке существенно варьируется в разных контекстах. Например, существуют значительные различия между тем, что требуется для проверки экзамена по математике, и тем, что нужно для экзамена по английскому.

Текущие данные не подтверждают общего случая для повсеместного использования ИИ в проверке. Должны быть доказательства, специфичные для контекста, чтобы обосновать применение таких инструментов.

Наши приоритеты ясны: обеспечение справедливости для студентов, защита безопасности, сохранение валидности квалификаций и поддержание общественного доверия при одновременном содействии ответственным инновациям.

По мере развития технологий ИИ мы будем продолжать собирать доказательства и способствовать конструктивному обсуждению его роли в оценивании.

Доверие, которое все участники образования возлагают на справедливость и прозрачность квалификаций, остается в центре нашего регуляторного подхода.

Джо Хэнфорд, заместитель директора по стратегическим проектам и инновациям, Ofqual
Джоанна Уильямсон, научный сотрудник, Ofqual

Теги: a level, A levels, AI, искусственный интеллект, экзамены, gcse, GCSEs, оценивание, проверка, результаты

Ofqual поддерживает стандарты и доверие к квалификациям

Пожалуйста, прочитайте нашу политику комментариев и модерации перед тем, как оставить комментарий к этому блогу.