Для проведения оценки знаний участников обучения, важно понимать, насколько тестовые задания отражают реальные знания. Слишком простые задания, на которые правильно отвечают все участники и слишком сложные задания, на которые не может ответить никто из оцениваемых не обладают способностью дифференцировать испытуемых по уровню их подготовки и должны из теста исключаться.
В нашей системе реализована возможность понять коэффициент сложности каждого из вопросов тестирования, внести изменения в проблемные задания и отследить результаты по изменению основных метрик теста.
1. Основные параметры тестирования
В выгружаемом файле xls, на первой вкладке, находятся основные параметры теста
Значения рассчитываются по всем попыткам прохождения тестирования.
Сложность теста (рассчитывается только при оценке по правильным ответам) - отношение попыток, в которых участник дал правильный ответ ко всем попыткам прохождения тестирования.
2. Подробная информация о прохождении тестирования
Подробная информация содержит следующие данные:
Контактная информация участника
Дата и время прохождения тестирования
Вопросы и ответы на него
Статус по вопросу (пройден/не пройден) и по тесту в целом
Сколько времени затрачено на вопрос и на тест в целом
Количество правильных ответов или набранных баллов (в зависимости от выбранного типа оценки)
3. Сложность вопросов
Для тестов с оценкой по правильным ответам в xls файле добавлена вкладка "Сложность вопросов", в ней отображаются:
все вопросы вашего тестирования
дата создания вопроса
количество попыток прохождения
количество успешных попыток
коэффициент сложности вопроса
3.1 Подробнее о коэффициенте сложности
Коэффициент позволяет внести корректировки в вопросы и исключить не информативные. Рассчитывается как отношение количества успешных попыток к общему количеству.
Может принимать значение от 0 до 1.
Чем меньше величина коэффициента, тем большая часть испытуемых успешно справляется с вопросом.
Сложность заданий теста должна соответствовать уровню подготовки испытуемых.Тест в целом должен включать в себя комплекс заданий различной сложности – от легких до трудных, с коэффициентами от 0,36 до 0,81.
4. Внесение изменений в вопросы
После изменения существующего вопроса, исправления вариантов ответов, добавления нового варианта или вопроса, создается новая версия теста. Результаты участников, которые уже завершили тестирование, не изменяются, средний балл не пересчитывается.
В выгружаемом файле добавляется информация о версии и основных метриках каждой из версий.
Результаты участников, проходивших разные версии добавляются в различные вкладки теста.
В разделе "Сложность вопросов" можно увидеть динамику изменения коэффициента сложности по каждой дате изменения данного вопроса.
Визуализировав данные, можно понять динамику и качество вносимых изменений.
