Измерить понимание учащимися предметов информатики — непростая задача. По мере того как грамотность в области ИИ становится важной составляющей образования в области вычислительной техники, определение и точное измерение понимания учащимися концепций и их навыков становится ещё большей проблемой.

На недавнем семинаре в нашей серии по преподаванию ИИ и науки о данных исследователь Хесус Морено-Леон (Universidad de Sevilla) рассказал о своей работе по разработке инструментов оценки вычислительного мышления (ВМ) и грамотности в области ИИ. Хесус также является соучредителем Programamos, некоммерческой организации, которая продвигает развитие вычислительного мышления и поддерживает преподавателей через обучение и распространение ресурсов.

Разработка инструментов оценки в информатике

Хесус начал с обсуждения недавнего развития инструментов оценки в области информатики. Вместе с Грегорио Роблесом (Universidad Rey Juan Carlos) они создали Dr Scratch, веб-инструмент для оценки качества проектов Scratch и обнаружения ошибок и плохих практик программирования (например, мёртвого кода). Проекты оцениваются по использованию концепций вычислительного мышления (например, параллелизм, условная логика) и по применению желательных практик программирования (например, именование спрайтов, удаление дублирующих скриптов), чтобы давать обратную связь учащимся и преподавателям для итеративного улучшения проектов Scratch.

Помимо измерения программных навыков учащихся, Хесус также рассказал о работе Маркоса Романа-Гонсалеса (Universidad Nacional de Educación a Distancia) по разработке теста вычислительного мышления (CTt), 28-пунктового инструмента оценки, предназначенного для измерения навыков вычислительного мышления у учащихся в возрасте от 10 до 16 лет. Две сотрудницы, Мария Сапата и Эстафания Мартин (Universidad Rey Juan Carlos), далее адаптировали эти задания, создав тест для начинающих в вычислительном мышлении (BCTt) — оффлайн-оценку, подходящую для младших учащихся в возрасте от 5 до 10 лет.

Хесус также описал свою более недавнюю работу в Министерстве образования и профессионального обучения Испании по продвижению информатики на всех уровнях образования. Одна из инициатив, La Escuela de Pensamiento Computacional e Inteligencia Artificial (Школа вычислительного мышления и искусственного интеллекта), оказывала поддержку испанским преподавателям через обучение и ресурсы для внедрения ВМ и ИИ в классах. В рамках этой инициативы в Испании приняли участие более 400 преподавателей и 7000 учащихся через оффлайн-активности и инструменты, такие как Machine Learning for Kids и LearningML, позволяющие ученикам классифицировать текст и изображения с помощью машинного обучения. Старшие учащиеся создавали приложения с помощью MIT App Inventor. При оценке разработки учебной программы они обнаружили, что у них есть сильные инструменты для измерения развития ВМ — такие как описанные выше оценочные инструменты — но отсутствовали инструменты для измерения грамотности в области ИИ.

Отсутствие валидных инструментов оценки грамотности в области ИИ побудило команду разработать AI Knowledge Test (AIKT), 14-пунктовый опросник, состоящий из вопросов с несколькими вариантами ответов, предназначенный для измерения понимания учащимися основ ИИ. Инструмент был вдохновлён предыдущими работами в этой области и релевантными исследованиями (например, рамками AI4K12).

Пример из AI Knowledge Test

Ниже приведён пример одного из таких заданий. Можете ли вы его решить? Ответ приведён в конце этой статьи.

Вопрос 1. Какая из следующих стратегий была бы наиболее подходящей для обучения компьютера распознавать фотографии яблок?

  • Обучать компьютер на фотографиях собак
  • Обучать компьютер на нескольких фотографиях разных яблок, сделанных в разных местах и контекстах
  • Обучать компьютер на нескольких похожих фотографиях одного и того же яблока, сделанных в одном и том же месте
  • Обучать компьютер на нескольких идентичных копиях одной и той же фотографии яблока

В исследовании воздействия программирования на вычислительное мышление и грамотность в области ИИ в испанских школах авторы проверяли эти задания, основанные на знаниях, более чем с 2000 учащихся, чтобы оценить надёжность (например, внутреннюю согласованность) — меру качества опросника или теста. Они обнаружили, что один пункт («Как пользователь, юридическое регулирование, которое будет принято в отношении систем ИИ, повлияет на мою жизнь») не коррелировал с другими пунктами. Это оставило в общей сложности 13 пунктов, которые показали достаточную внутреннюю согласованность — то есть насколько хорошо каждый пункт коррелировал с другими для измерения базовой конструкции (то есть «знания об ИИ»). Авторы пришли к выводу, что инструмент оценки нуждается в более высоком потолке и должен учитывать распространённые заблуждения. Авторы также узнали, что преподавателям нужны бесплатные и с открытым исходным кодом инструменты с низким порогом вхождения, например без необходимости регистрации, и пригодные для использования в классе, такие как ограничение отправки данных в облако.

С ростом популярности генеративных инструментов ИИ, таких как ChatGPT или Gemini от Google, Хесус и его коллеги сочли, что их инструмент оценки грамотности в ИИ должен сфокусироваться на возможностях генеративных ИИ-инструментов. Они также решили смотреть шире на ИИ и учитывать дополнительные измерения, такие как социальные и этические последствия ИИ-инструментов. В настоящее время они пересматривают свои оценочные задания, чтобы привести их в соответствие с несколькими общими рамками, включая SEAME и AI Learning Priorities for All K–12 Students.

Пример из пересмотренного AI Knowledge Test

Хесус завершил семинар, описав свои намерения сотрудничать с другими исследователями для тестирования пересмотренного инструмента оценки грамотности в области ИИ с учащимися в начале 2026 года. Мы с нетерпением ждём результатов их работы!

Ответ на вопрос 1: наиболее подходящий вариант — обучать компьютер на нескольких фотографиях разных яблок, сделанных в разных местах и контекстах.

В нашем текущем цикле семинаров мы исследуем прикладной ИИ и способы преподавания ИИ в разных предметных областях. На следующем семинаре этой серии 17 марта в 17:00 по британскому времени мы приглашаем Ребекку Фибринг (University of the Arts London), которая рассмотрит вопросы того, как и зачем мы могли бы преподавать ИИ для творческих практиков, включая детей, студентов и профессионалов.

Чтобы принять участие в семинаре, зарегистрируйтесь. Надеемся увидеть вас там.

Расписание предстоящих семинаров доступно онлайн. Вы можете ознакомиться с прошлыми семинарами в нашем блоге и на странице предыдущих семинаров и записей.

Тем thematic materials и предыдущие семинары, упомянутые в серии:

  • Воплощённое машинное обучение: от исследовательских идей до занятий в классе
  • Как мы можем преподавать ИИ в искусстве, гуманитарных и естественно-научных дисциплинах? Серия исследовательских семинаров 2026
  • Исследования в области грамотности ИИ: дети и семьи, работающие вместе с умными устройствами
  • Должны ли мы преподавать ИИ и МО иначе, чем другие области информатики? Проблема
  • «Использование PRIMM для преподавания программирования»: новый короткий курс для педагогов
  • Повышение уровня с Python: Создание с данными