Для проведения оценки знаний участников обучения, важно понимать, насколько тестовые задания отражают реальные знания. Слишком простые задания, на которые правильно отвечают все участники и слишком сложные задания, на которые не может ответить никто из оцениваемых не обладают способностью дифференцировать испытуемых по уровню их подготовки и должны из теста исключаться.

В нашей системе реализована возможность понять коэффициент сложности каждого из вопросов тестирования, внести изменения в проблемные задания и отследить результаты по изменению основных метрик теста.

1. Основные параметры тестирования

В выгружаемом файле xls, на первой вкладке, находятся основные параметры теста

Значения рассчитываются по всем попыткам прохождения тестирования.
Сложность теста (рассчитывается только при оценке по правильным ответам)
- отношение попыток, в которых участник дал правильный ответ ко всем попыткам прохождения тестирования.

2. Подробная информация о прохождении тестирования

Подробная информация содержит следующие данные:

  • Контактная информация участника
  • Дата и время прохождения тестирования
  • Вопросы и ответы на него
  • Статус по вопросу (пройден/не пройден) и по тесту в целом
  • Сколько времени затрачено на вопрос и на тест в целом
  • Количество правильных ответов или набранных баллов (в зависимости от выбранного типа оценки)

3. Сложность вопросов

Для тестов с оценкой по правильным ответам в xls файле добавлена вкладка "Сложность вопросов", в ней отображаются:

  • все вопросы вашего тестирования
  • дата создания вопроса
  • количество попыток прохождения
  • количество успешных попыток
  • коэффициент сложности вопроса

3.1 Подробнее о коэффициенте сложности

Коэффициент позволяет внести корректировки в вопросы и исключить не информативные. Рассчитывается как отношение количества успешных попыток к общему количеству.
Может принимать значение от 0 до 1.

Чем больше величина коэффициента, тем большая часть испытуемых успешно справляется с вопросом.
Сложность заданий теста должна соответствовать уровню подготовки испытуемых.Тест в целом должен включать в себя комплекс заданий различной сложности – от легких до трудных, с коэффициентами от 0,36 до 0,81

4. Внесение изменений в вопросы

После изменения существующего вопроса, исправления вариантов ответов, добавления нового варианта или вопроса, создается новая версия теста. Результаты участников, которые уже завершили тестирование, не изменяются, средний балл не пересчитывается.

В выгружаемом файле добавляется информация о версии и основных метриках каждой из версий.

Результаты участников, проходивших разные версии добавляются в различные вкладки теста.

В разделе "Сложность вопросов" можно увидеть динамику изменения коэффициента сложности по каждой дате изменения данного вопроса.

Визуализировав данные, можно понять динамику и качество вносимых изменений.

Вы нашли ответ?