Вопросы с несколькими вариантами ответа могут оценивать не только запоминание. При тщательной разработке они могут выявлять заблуждения, шаблоны рассуждений, частичное понимание и то, куда следует направить дальнейшее обучение.

Что делает вопрос с выбором ответа сильным?

Сильный вопрос с выбором ответа предлагает учащимся выбрать лучший ответ из набора правдоподобных вариантов. Правильный ответ должен быть явно поддержан учебной целью, в то время как неправильные варианты должны выявлять содержательные паттерны в мышлении учащихся.

Цель не просто сделать вопросы сложнее. Цель — сделать их яснее, лучше согласованными и более полезными и для оценки, и для обучения.

Это руководство связано с более широкой работой по дизайну оценивания и критическому мышлению.

Краткое руководство: 12 способов улучшить вопросы с выбором ответа

Используйте эту таблицу как быстрый справочник при написании или пересмотре заданий с выбором ответа.

  1. Убедитесь, что предмет вопроса измеряет что-то конкретное.
  2. Сделайте сам стеб (формулировку вопроса) ясным до показа вариантов. Снизьте путаницу до того, как ученики увидят возможные ответы.
  3. Попросите учеников сначала сгенерировать ответ сами. Сократите угадывание и распознавание ответов.
  4. Проверяйте рассуждение, а не только распознавание. Смещайтесь от простого воспроизведения к применению, выводу и суждению.
  5. Выявляйте заблуждения и частичное понимание. Делайте неправильные ответы диагностически полезными, связывая их с вероятными ошибками в мышлении.
  6. Предотвращайте случайные подсказки в формулировке, длине, грамматике или структуре. Сохраняйте сложность в концепции, а не в фразировке.
  7. Держите трудность в концепте, а не в формулировке. Избегайте одного длинного формального ответа и трех коротких расплывчатых. Сделайте все варианты похожими по структуре и специфике.
  8. Попросите учащихся объяснить, почему другие ответы неверны. Преобразуйте выбор ответа в анализ.
  9. Позвольте учащимся изменять варианты ответов. Помогает распознавать точность, правдоподобность и доказательную поддержку в конструкции вариантов.
  10. Используйте «Принято/Пересмотреть» вместо «Правильно/Неправильно». Сосредоточьтесь на улучшении ответа, а не только на его оценке.
  11. Отделяйте уверенное понимание от угадывания. Попросите учащихся выбрать ответ, а затем отметить уверенность: высокая / средняя / низкая.
  12. Анализируйте паттерны ответов и вносите правки. Используйте данные студентов, чтобы улучшить инструкцию и будущие задания.

Практическая версия каждой стратегии (что она улучшает и как это может выглядеть в классе)

  1. Сохраняйте вопрос согласованным с конкретной концепцией, навыком или ходом рассуждений. Вместо общего вопроса о теме сначала определите цель: учащиеся могут идентифицировать тему, подтверждённую решением персонажа.
  2. Сделайте стеб ясным до вариантов. Помогает ученикам понять задачу до прочтения возможных ответов. Слабый вариант: «Что из следующего верно?» Лучше: «Какое предложение лучше всего объясняет, почему персонаж отказывается от помощи?»
  3. Попросите учеников сначала написать свой ответ. Снижает угадывание и мешает полагаться только на распознавание. Подсказка: «Перед тем как смотреть варианты, запишите ответ, который, по вашему мнению, лучше всего подтверждён.»
  4. Проверяйте рассуждение, а не просто распознавание. Делает задание оценкой мышления, а не памяти термина или фразы. Слабый: «Что такое вывод?» Лучше: «Какой вывод лучше всего поддержан решением персонажа?»
  5. Делайте неправильные варианты диагностически полезными. Позволяет соединять неверные ответы с вероятными заблуждениями. Например, для вопроса об выводе одним из отвлекающих вариантов может быть предсказание, показывая, что ученик путает вывод с предсказанием.
  6. Предотвращайте случайные подсказки в оформлении. Избегайте различий в грамматике, длине, детализации или тоне, которые могут подсказывать правильный ответ. Делайте все варианты сопоставимыми по структуре и детализации.
  7. Держите сложность в содержании, а не в формулировке. Делает вопрос более справедливым и удерживает вызов в области учебной цели. Слабый: «Какой ответ не является наименее неточным?» Лучше: «Какой ответ лучше всего поддерживается доказательствами?»
  8. Попросите учащихся объяснить, почему другие ответы неверны. Показывает, понимают ли учащиеся, почему правильный ответ лучше. Подсказка: «Выберите лучший ответ. Затем объясните, почему каждый другой вариант не является лучшим.»
  9. Попросите учащихся переработать один из вариантов. Помогает им увидеть, что делает отвлекающий вариант слабым или сильным. Подсказка: «Измените один слабый вариант ответа так, чтобы он стал более правдоподобным отвлекающим.»
  10. Используйте «Принято/Пересмотреть» вместо «Правильно/Неправильно». Сосредоточьтесь на критериях: Принято — ответ ясен, поддержан и согласован. Пересмотреть — требуется более сильное доказательство, рассуждение, точность или согласованность. Такой подход помогает отделить уверенное понимание от угадывания.
  11. Попросите отметить уровень уверенности. Учащиеся выбирают ответ, затем отмечают уверенность: высокая / средняя / низкая. Это помогает отделить надёжное понимание от угадывания или неуверенности.
  12. Анализируйте паттерны ответов и вносите правки. Если многие выбирают один и тот же отвлекающий вариант, повторно объясните соответствующее заблуждение или исправьте задание, если формулировка ввела в заблуждение.

Контрольный список по пересмотру вопросов с выбором ответа

Перед использованием вопроса проверьте его по следующим пунктам.

  • Понимают ли учащиеся задачу до чтения вариантов?
  • Требует ли вопрос мышления, а не просто распознавания?
  • Выявляет ли каждый неправильный ответ вероятное заблуждение или ошибку?
  • Похожи ли варианты по грамматике, длине, тону и специфике?
  • Сосредоточена ли трудность на концепции, а не на фразировке?
  • Могут ли учащиеся объяснить, почему неверные ответы неверны?
  • Могли бы учащиеся улучшить варианты или написать лучшие отвлекающие варианты?
  • Знают ли учащиеся, уверены они, не уверены или угадывают?
  • Что показывает паттерн ответов?
  • Следует ли сохранить вопрос, пересмотреть или удалить?
  • Что должен сделать учитель дальше, исходя из результатов?

Практические советы

  • Задавайте конкретный вопрос в стебе.
  • Делайте варианты параллельными по длине и структуре.
  • Используйте предсказуемые заблуждения или частичное понимание в качестве отвлекающих вариантов.
  • Помещайте концепт в контекст, где ученики должны применить его.
  • Просите выбрать лучшее объяснение, самое сильное доказательство или наиболее точное применение.
  • Пересматривайте вопрос до тех пор, пока один ответ явно не будет лучше поддержан.
  • Анализируйте паттерны ответов и дорабатывайте задание.

Вывод

Вопросы с выбором ответа не являются автоматически поверхностными. Они становятся такими, когда стеб расплывчат, варианты неравные, а отвлекающие ответы не дают информации о мышлении учащихся. При тщательной разработке множественный выбор может помочь учителям увидеть не только то, ответил ли ученик правильно, но и почему он мог ошибиться.

Источники: Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333. Rodriguez, M. C. (2005). Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research. Educational Measurement: Issues and Practice, 24(2), 3–13. Brookhart, S. M. (2010). How to Assess Higher-Order Thinking Skills in Your Classroom.