Websoft

четверг, октября 23, 2008

Автоматическая генерация тестов

Как сделать абсолютно надежный тест (такой, чтобы обучаемые не могли запомнить вопросы и варианты ответов, сфотографировать или записать их и т.п.)? Можно увеличивать выборку, перемешивать варианты ответов и т.п. Но 100% гарантии это не дает.

Недавно я наблюдал технологию на базе семантической сети, которая позволяет сделать (точнее сгенерировать автоматически) такие тесты, по крайней мере для достаточно узкого круга задач. Опишу в 2-х словах пример использования. Берем нормативный документ, например закон или приказ. Описываем базовые понятия предметной области, например, "Продажа объекта недвижимости - сделка с недвижимостью" или "Акция Аэрофлота - ценная бумага". Описываем контролируемые сведения, например "Покупка наличной валюты юридическим лицом на сумму, превышающую 600000руб, не регламентируется п 1 статьи 6 ФЗ115". Описываем реальные ситуации :
"1 ноября 2007 года на счет И.И.Иванова в Промсвязьбанке поступили 3500000руб от продажи автомобиля; 2 ноября 2007 года Иванов купил в Промсвязьбанке наличные фунты на всю поступившую сумму. Кроме того, 3 ноября 2007 года Иванов купил в том же банке акции Аэрофлота на сумму 700000руб за наличный расчет"

Этот кейс мы переписываем в следующие базовые утверждения:
Иванов - физическое лицо
Иванов продает автомобиль за 3500000руб через счет в Промсвязьбанке
Иванов покупает наличные фунты на сумму 3500000руб в Промсвязьбанке
Иванов покупает за наличный расчет акции Аэрофлота на сумму 700000руб в Промсвязьбанке


Запускаем генератор тестов и система генерирует нам произвольное количество вопросов следующего вида (для нашего кейса):

Верно ли утверждение?
Иванов не отвечает за своевременное документирование покупки им акций Аэрофлота на 700000 руб.

или

Покупка Ивановым наличных фунтов в Промсвязьбанке на 3500000руб не подлежит обязательному контролю

Минусы - сложно описать предметную облать (нужен высокий профессионализм). Те, кто мне это показывали - весьма профессиональные люди. Плюсы - генерируется бесконечное количество вопросов. Хорошее приложение - знание нормативных документов и правил.

Что думаете?

3 комментария:

Алексей Бондаренко комментирует...

Заманчиво конечно..но:

Что бросается в глаза сразу, так это генерируемый формат вопроса и ответа, где ответ подразумеваются либо "да" либо "нет".
Односложные ответы вредны, и тесты из таких вопрсов-ответов методически неверны и неэффективны (например присутствует элемент угадывания).
Пример:
а. неверный вариант вопроса
Автомобиль Range Rover Classic является внедорожником?
- да
- нет
б. правильный вариант вопроса
Автомобиль Range Rover Classic
- внедорожником
- спортивным купе
- седаном
- лимузином

позволяет ли эта технология формировать вопросы\ответы по варианту (б)?

Мне кажется на текущий момент проще правильно организовать контроль/проведение тестирования, чем тратить силы на возможность генерации бесконечного числа вопросов (в комбинации с большой выборкой и перемешиванием).
Кроме того, известно что на каждую "защиту" найдется свой кулибин:) (да хотя бы просто профи за спиной тестируемого, или, классический пример, - персонаж-студент из "Операция Ы..." )

К минусам могу добавить - если правила регулярно меняются, то каждый раз нужно прописывать предметную область

Алексей Корольков комментирует...

Алексей,
в описанной системе возможна только генерация вопросов типа "Это утверждение верно? Да или нет?"

Алексей Бондаренко комментирует...

А если самим разработать? Думаю потребность в таком генераторе будет очень большая...