ИИ в обучении требует точности. Сейчас до этого далеко

Миннич: В исследовании проверяли, могут ли четыре большие языковые модели точно измерять сложность 1 807 отрывков. Результаты оказались крайне разными.

Почему школам нужен разбор в стиле фонетики для математики

После расследования 74 сенаторы Миннесоты добиваются закона, регулирующего терапию аутизма.

Кибератака поразила программу школьного выбора Южной Каролины.

10, возможно неловких, вопросов на собеседовании для руководителей школ.

В долгожданных правилах по налоговым кредитам за стипендии федеральные власти делают акцент на наиболее нуждающихся учениках.

Получайте такие материалы прямо на почту. Подпишитесь на рассылку The 74.

За последние несколько недель в стране произошло то, что случается нечасто: соперничающие руководители технологических компаний согласились, что развитие искусственного интеллекта нужно замедлить. Они говорят о потенциальном вреде ИИ для человечества, но разработчикам образовательных технологий тоже стоит мыслить в этом ключе применительно к ИИ в образовании.

ИИ оказывает огромное влияние на образование K–12, и это влияние растёт быстрее, чем учителя, законодатели и сама отрасль образовательных технологий успевают контролировать. Около 60% учителей используют инструменты ИИ для подготовки к урокам, создания рабочих листов или адаптации материалов под разные потребности учеников, экономя драгоценное время. При наличии надёжных ограничений учителя могут быть уверены, что эти уроки точны и основаны на результатах исследований и проверенных методиках преподавания в K–12. Но без таких ограничений ученики становятся уязвимы.

Возьмём практику, столь же фундаментальную, как выбор абзаца или книги для ученика. Более 40 лет назад MetaMetrics взялась за эту на первый взгляд простую (на самом деле довольно сложную) задачу и разработала рамочную систему Lexile для чтения, которая помещает способность ученика к чтению и сложность текста на единую шкалу. Более 35 миллионов учащихся во всех 50 штатах получают на отчётах по стандартизированным тестам число с буквой L, обозначающее их Lexile‑показатель или способность читать и понимать текст. Кроме того, более 100 миллионов книг, статей и фрагментов текста официально измерены по этой шкале.

Сопоставление учеников и читаемых материалов по общей шкале позволяет педагогам понять, где находятся ученики, выбрать соответствующие по сложности материалы и отслеживать прогресс.

Сегодня учителя всё чаще используют большие языковые модели, такие как ChatGPT, чтобы адаптировать тексты под разные уровни чтения в своём классе. Они вставляют отрывок в популярную модель ИИ, просят назвать его Lexile‑показатель и получают поражающе уверенный ответ. Есть одна проблема: чаще всего он неверен. И «приблизительно верно» — тоже не подходит.

Большие языковые модели хорошо генерируют язык, потому что предсказывают, что звучит правильно, опираясь на закономерности, извлечённые из огромных объёмов текста. Но они не создавались для оценки сложности или трудности чтения. Когда инструмент генерирует похожее на Lexile число, он не опирается на исследования и миллиарды официально измеренных слов, лежащих в основе настоящего Lexile‑балла. Он угадывает следующее наиболее вероятное слово или число по шаблонам, на которых был натренирован. Иногда такое предположение оказывается близким, иногда — далеко влево, и у педагога нет очевидного способа отличить одно от другого.

MetaMetrics недавно опубликовала исследование, описывающее результаты более чем 20 000 текстовых анализов, в ходе которых проверяли ChatGPT, Gemini, Claude и Copilot на способность точно измерять сложность 1 807 отрывков. Результаты оказались беспорядочными и непоследовательными. Например, четыре инструмента ИИ оценили один и тот же отрывок как имеющий уровень сложности, соответствующий разнице в три–четыре класса. При повторном тестировании те же инструменты дали совершенно другой Lexile‑показатель для того же самого отрывка. Просить любой из них затем сделать текст более простым или более сложным для читателей разной подготовки только опасно умножает проблему.

В целом исследование показало, что только в 3% случаев Lexile‑показатели, оценённые четырьмя инструментами ИИ, совпадали с официальными Lexile‑показателями; в более чем 60% случаев оценённые ИИ Lexile‑показатели выходили за пределы диапазонов, оптимальных для обучения учеников; и четыре инструмента существенно различались между собой.

Сопоставление Lexile‑показателя ученика с показателем текста, валидированным десятилетиями эмпирических исследований, даёт педагогам значимую отправную точку для выбора материалов для чтения, создания продуктивного вызова и измерения прогресса. Уверенное предположение, даже звучащее правдоподобно, этого не делает.

Чтобы помочь решить эту проблему, эксперты, стоящие за рамочной системой Lexile, исследуют пути интеграции валидированного измерения текста с инструментами на базе ИИ, которые всё чаще используют педагоги, включая пилотирование приложения для ChatGPT, которое проводит полноценный Lexile‑анализ текста, а не делает догадки. Цель — помочь учителям эффективно адаптировать материалы, гарантируя, что то, что они дают ученикам, соответствует требуемому уровню сложности.

Это важно, потому что один из способов, с помощью которого педагоги и разработчики образовательных технологий помогают учащимся становиться лучшими читателями — это ставить перед ними всё более сложные тексты. Недавние результаты NAEP делают это особенно актуальным для средних классов. Ученики должны двигаться к целым книгам с более длинными и сложными предложениями, новым словарным запасом и более сложными требованиями к пониманию. По мере того как ученики сталкиваются с всё более требовательными текстами с одной стороны шкалы, их способность к чтению должна расти с другой. В этом и заключается сила совместного измерения учеников и содержания.

Руководители ИИ правы в желании замедлиться, чтобы добавить предохранители. Разработчики образовательных технологий, создающие материалы на основе ИИ, должны сделать то же самое, а учителя, использующие эти инструменты, должны требовать этого. Поставщики образовательных технологий и разработчики платформ для обучения должны продолжать развивать ИИ, одновременно чётко указывая, где ему необходима опора на исследования. Это включает обучение моделей на официальных шкалах для обеспечения точности.

Когда разработчики образовательных технологий соединяют мощь ИИ с наукой об обучении, основанной на исследованиях, школы и округа могут быстро внедрять инструменты и педагогические практики, доказавшие свою эффективность в улучшении результатов обучения. И это — победа для учеников.

Вы использовали эту статью в своей работе? Нам было бы интересно узнать, как репортаж The 74 помогает педагогам, исследователям и законодателям. Расскажите нам, как.

Крис Миннич — генеральный директор MetaMetrics; ранее занимал руководящие должности в NWEA, HMH и Совете главных государственных школьных инспекторов.

Мы хотим, чтобы наши материалы распространялись как можно шире — бесплатно. Просмотрите условия повторного опубликования The 74.