Недавно мы рассказывали про доказательное образование как научный способ проверки эффективности образовательных методик. Сегодня разберемся в том, как психометрика помогает измерять компетенции учеников на примере школьных тестов по математике и разберем основные рекомендации по составлению заданий.
Что такое психометрика?
Психометрика — это направление на стыке социальных наук и математики, целью которого является измерение как наблюдаемых переменных (поведения), так и скрытых от глаз наблюдателя конструктов (знаний, навыков, мотивации, ценностей и др.). Психометрика охватывает весь процесс создания теста: от формулирования целей измерения до рекомендаций по составлению заданий и подсчету баллов.
Основоположниками современной психометрики называют французских психологов Альфреда Бине и Теодора Симона, которые в начале XX века разработали первый в мире тест для оценки интеллекта. Тест сделали в связи с введением во Франции обязательного всеобщего образования. Стояла задача отделить детей, готовых к обучению в общеобразовательной школе, от детей с когнитивными особенностями, которым больше подошли бы специализированные учебные заведения.
Тесты получили бурное распространение в США. Их стали использовать шире: от оценки школьной успеваемости до профессионального отбора на должности и набора в армию.
Сегодня тесты и психометрика применяются в самых разных областях. Помимо описанных выше сфер жизни, тесты используются в:
- медицине, в частности в психиатрии, для постановки диагнозов;
- менеджменте для оценки выгорания, вовлеченности, безопасного поведения на работе и др.;
- при сдаче всевозможных экзаменов, например, на водительские права;
- исследованиях, в том числе международных;
- IT-сфере, маркетинге, спорте и даже криминологии.
Психометрические тесты помогают делать выводы и принимать решения, в том числе жизненно важные, в самых разных сферах (например, это может быть поступление в вуз или принятие на работу). Чем значимее выводы по результатам теста, тем дороже и сложнее его создание, которое в некоторых случаях может доходить до миллионов долларов. Такие сложные и дорогие тесты используются в том числе в международных исследованиях образования, например, PISA [1], TIMSS и PIRLS [2]. В рамках этих проектов тесты оценивают ряд компетенций у сотен тысяч школьников из разных стран. Цель такого тестирования — мониторинг как предметных, так и непредметных (универсальных) навыков.
Некоторые правила, которых придерживаются разработчики тестов в крупных проектах, будут полезны и при разработке небольших тестов, например, по математике для начальных классов. Но сначала коротко обсудим, в чем сложность создания хороших тестов и зачем нужно придерживаться рекомендаций по составлению заданий.
Для чего нужна психометрика?
Разработанные в рамках психометрики тесты минимизируют риски ошибочных выводов. Иногда ученик выбирает неверный вариант ответа не из-за незнания темы, а из-за ошибки, содержащейся в формулировке вопроса или задания. В результате ученик лишается возможности показать свои истинные знания из-за внешних факторов, например, субъективности или неоднозначности формулировки вопроса (подробнее об этих ошибках — в следующем разделе). Психометрика же помогает избежать таких ситуаций.
Некоторые ошибочно полагают, что эксперт в какой-либо области автоматически может составить грамотное задание по этой теме. Однако основная компетенция, например, учителя — объяснить материал так, чтобы ученики его усвоили и смогли применять эти знания в будущем. Составление же тестовых заданий — это отдельная компетенция и искусство. В крупных проектах специалисты в предметной области отвечают за содержание теста. Психометрик берет интервью у эксперта и на основе полученных материалов составляет задания, которые затем согласовываются со специалистом.
Многие уверены, что тесты не способны проверить знания учеников, а верный ответ можно угадать. Однако правильно составленные задания минимизируют возможность угадывания.
В рамках психометрики исследователи разрабатывают продвинутые способы подсчета баллов, которые помогают учесть возможность угадывания верного ответа. Главным же достоинством тестов (в том числе онлайн-формата) является то, что они позволяют быстро оценить компетенции огромного числа учеников и мгновенно показать результаты как самому ученику, так и учителю. А еще психометрики приближаются к тому, чтобы анализировать «клики» учеников при выполнении онлайн-заданий (чаты, электронная почта, поисковик и др.), что позволяет изучать поведение учеников в процессе выполнения заданий и корректировать учебный процесс. Например, частые изменения ответов, возвраты к предыдущим заданиям могут говорить о неуверенности ученика в своих знаниях или попытках угадать верный ответ.
Теперь же вернемся к тесту по математике и на простых примерах разберем основные рекомендации и частые ошибки.
Основные рекомендации по разработке тестовых заданий
Рекомендации составлены прежде всего для преподавателей и встраиваются в образовательный процесс. Однако они универсальны и подходят для любой сферы, где применяются тесты [3].
Чтобы составить хороший тест, начните с определения: что он должен измерить и насколько широко охватить измеряемую компетенцию или характеристику.
- Составляйте вопросы так, чтобы они сбалансировано охватывали все компетенции, которые формировались во время обучения. Например, если тест проверяет знание четырех тем, и на их освоение отводилось равное время, то количество заданий на каждую из них должно быть одинаковым. Если одна тема обширнее, чем другие, для нее надо сделать больше заданий. Даже если задания по какой-то теме составлять проще, все равно придерживайтесь изначального плана и структуры.
- Создавайте задания разного уровня сложности — легкие, средние и трудные задания. Это нужно для того, чтобы в тесте были задания, которые будут соразмерны тому, насколько хорошо разные ученики усвоили материал. При этом экстремально трудные или легкие задания (с которыми справляется менее 10% или более 90% учеников) обычно плохо работают в тесте. Они почти не различают учеников по уровню знаний, так как с ними справляются либо почти все, либо почти никто.
Затем тщательно поработайте над формулировками вопросов и заданий.
- Наиболее «чистое» измерение достигается, когда одно задание содержит только один вопрос и направлено на проверку одной компетенции. Если ученик допустит ошибку в задании, проверяющем сразу несколько компетенций, то учителю будет сложно определить, что именно вызвало затруднение. Пример неудачной формулировки задания:
Длина прямоугольника 8 дм, а ширина на 30 см меньше. Найди площадь этого прямоугольника. Ответ запиши в метрах.
В этом задании проверяется сразу две компетенции: навык вычисления площади и перевода единиц измерения из одной в другую. Правильнее будет разделить их на два задания.
- Формулируйте задание как можно проще и однозначнее, чтобы все тестируемые поняли смысл. В формулировках не должно быть лишних условий и терминов. Пример неудачной формулировки:
Представь, что на перемене ты помогаешь директору вашей школы составлять онлайн-заказ на новые стулья с целью обеспечения учебного заведения необходимым для образовательного процесса инвентарем. В каждом из 24 учебных классов нужно поставить по 18 новых стульев. Вычисли, какое общее количество стульев необходимо заказать.
Первое предложение перегружено деталями, которые не относятся к сути задания. Если вы составляете тест для учеников пятого класса, то формулировки должны быть адаптированы для этого возраста, уровня мышления и речи. Более понятной будет следующая формулировка:
Представь, что ты составляешь заказ на новые стулья в свою школу. В каждом из 24 учебных классов нужно по 18 новых стульев. Вычисли, какое общее количество стульев необходимо заказать.
Безусловно, формулировку задания можно сократить еще больше. Однако если для оценки компетенций в заданиях нужен сторителлинг, то не стоит совсем от него отказываться. Важно искать баланс между краткостью и привлекательной подачей заданий.
- Не используйте в заданиях субъективные или оценочные суждения. Например:
Задание. Маша купила 3 тетради по 25 рублей каждую и 2 ручки. За всю покупку она заплатила 120 рублей. Какое из следующих действий является самым логичным первым шагом для нахождения стоимости одной ручки?
Варианты ответа:
А) 120 – 25;
Б) 3 × 25;
В) 25 + 25;
Г) 3 + 2.
Верный ответ: Б.
Понятие «самый логичный» субъективно. Ученик может рассуждать иначе, но прийти к верному ответу. Например, ученик может сначала посчитать, сколько всего предметов купила Маша (вариант Г), а может сначала вычесть из общей суммы покупки стоимость одной тетради (вариант А), чтобы затем вычесть стоимость второй и т. д. Эти варианты ответа не являются ошибочными, но, выбрав их, ученик не получит баллы из-за субъективности составителя задания.
- Не оставляйте в заданиях подсказки на решение других заданий. Иначе результат будет зависеть от внимательности, а не от знания предмета. Проверяйте усвоение математики тестами по математике, а внимательность — другими, специальными тестами.
- К теме внимательности относится и эта рекомендация. Избегайте отрицания в формулировке заданий. Частицу «НЕ» часто не замечают при нехватке времени. Если без отрицания не обойтись, выделите его ЗАГЛАВНЫМИ БУКВАМИ или жирным шрифтом.
Одна из самых сложных задач при составлении теста — разработка дистракторов (неверных вариантов ответа). Сформулировать верный ответ обычно легко, а вот подобрать подходящие дистракторы бывает довольно сложно. Однако это необходимо для составления хорошего задания.
- Дистракторы должны быть правдоподобными и не уступать верному ответу по степени проработанности. Частая ошибка — сделать правильный ответ длиннее за счет уточнений. Это служит ученикам подсказкой. Кроме того, в задании не должно быть очевидно неправильных или шуточных вариантов ответа. Такие дистракторы не отвлекут даже ученика, который совсем не освоил тему. Пример неудачных дистракторов:
Задание. У Васи было 5 яблок, а Маша дала ему еще 3. Сколько всего яблок стало у Васи?
Варианты ответа:
А) 8 яблок;
Б) 7 яблок (Вася съел одно, пока считал);
В) Целый мешок яблок!
Г) 6 яблок.
Ученику будет очень легко угадать верный вариант ответа А, поскольку дистракторы Б и В имеют явно шуточный характер. Выбрать дистрактор Г будет также достаточно сложно, поскольку к такому ответу можно прийти только в результате ошибки в сложении. Более логичным мог бы стать дистрактор «2 яблока», поскольку ученик мог перепутать сложение с вычитанием.
Лучшие дистракторы основаны на распространенных ошибках, которые могут допустить тестируемые. Для этого вы можете представить себя на месте ученика и предположить, где он мог ошибиться, находясь на своем уровне знаний.
- Постарайтесь не использовать варианты ответа «Ни один из перечисленных» или «Все перечисленное». Например, в задании:
Отметь вариант ответа, в котором x = 15:
А) x – 7 = 8;
Б) x : 3 = 5;
В) 45 : x = 3;
Г) x + 15 = 30;
Д) Все перечисленные.
Поскольку в задании нужно выбрать один вариант ответа, то уже после решения двух первых уравнений ученик догадается, что остальные два так же будут верными, поэтому сразу выберет последний вариант ответа. Кроме того, подобные формулировки повышают тестовую тревожность учеников и заставляют дополнительно сомневаться в своем ответе. Лучше всего работают задания с соотношением верных ответов к общему числу вариантов 1/4, 2/5 и 3/6.
- Обратимся к формату задания, в котором часто допускается одна ошибка. Это задание на поиск соответствия. Для каждого положения одной колонки ученику нужно выбрать подходящий вариант из другой колонки. Пример такого задания:
Установи соответствие между фигурой и ее свойством.
| Название фигуры | Свойство фигуры |
| 1. Квадрат | А) Имеет только один прямой угол |
| 2. Прямоугольный треугольник | Б) Имеет только прямые углы |
| 3. Равнобедренный треугольник | В) Имеет только две равные стороны |
Помимо подсказки в самих названиях фигур, ученик, верно соотнеся два свойства из трех, автоматически находит и последнее соответствие. Поэтому рекомендуется добавить еще одну фигуру или свойство, чтобы ученик приложил усилие по поиску последнего соответствия и не получал дополнительный балл просто так.
Еще несколько общих рекомендаций по составлению тестов и короткая сводка по тестовой культуре в России
Будьте предельно осторожны и внимательны, когда используете тесты из интернета для оценки профессиональных или личных качеств человека. Например, популярный тест интеллекта Векслера последний раз адаптировали на русский язык еще в 90-х годах. Эта версия уже не подходит для оценки интеллекта современных детей и подростков. Новые версии, распространенные в интернете, — это либо устаревшие копии оригинального теста, либо некачественные фрагментарные переводы без необходимой доказательной базы.
Запомните: каждый этап разработки теста должен быть подчинен его цели. Это отличает психометрические тесты от развлекательных тестов «Какой ты котик?» или «С какой начинкой ты пирожок?», где связь между ответами и результатами часто произвольна.
Примеры использования хороших тестов на русском языке для более серьезных целей из разных сфер вы сможете найти на сайтах Центра психометрики НИУ ВШЭ, платформы «Россия — страна возможностей», Лаборатории «Гуманитарные технологии», компаний «Экопси», «Форматта» и «Профилум».
Источники
- Programme for International Student Assessment (PISA).
- Trends in International Mathematics Science Study (TIMSS) & Progress in International Reading Literacy Study (PIRLS).
- Батурин Н.А., Вучетич Е.В., Костромина С.Н. и др. Российский стандарт тестирования персонала (временная версия, созданная для широкого обсуждения в 2015 году) [Электронный ресурс] // Организационная психология. 2015. Т. 5. № 2. С. 67–138. URL: https://orgpsyjournal.hse.ru/2015-5-2/152057297.html (дата обращения: 23.10.2025).
