Websoft

понедельник, марта 12, 2007

Что мы проверяем, когда тестируем обучаемых

Андрей Балыков уже в этом блоге обсуждал "Основные виды тестов" - рассматривая примеры использования основных типов тестовых вопросов, начиная от единственного выбора и заканчивая составными тестами.

Мне кажется, что многие разработчики (Андрей, я это не в Ваш адрес) при разработке тестов акцентируются на форме подачи контрольного вопроса (синтаксической и семантической корректности контрольного вопроса, "красивости" и оригинальности его подачи - например, чтобы щелкать не на номер варианта ответа, а на специальную картиночку, которая при этом меняется со звоночком). Есть, например, на российском рынке программный продукт, заявляющий поддержку 18 типов контрольных заданий (что конечно неплохо). Вопрос только в том, зачем нужно столько типов в случае, когда абсолютное большинство тестов проверяет только один тип мыслительных умений - знания (узнавание и/или запоминание).

Существует множество классификаций таких умений, одной из которых является, например таксономия Блума, подразделяющая их на шесть типов (от простого к сложному):

  • Знание
  • Понимание
  • Применение
  • Анализ
  • Синтез
  • Оценка

  • Большинство вопросов тестов, которые я наблюдал в электронных курсах (в том числе, к сожалению, и в наших ) относится к первому уровню - "Знания", т.е. проверяют способность обучаемого запомнить и повторить полученные знания. Мы же, как обучатели, хотим проверить еще и способность обучаемого применить полученные знания на практике, проанализировать реальные ситуации с помощью полученных знаний. Кстати как утверждают теоретики для первых 4-х уровней таксономии Блума достаточно только вопросов типа "выбор одного ответа из нескольких предложенных" (multiple choice). Я был бы рад услышать мнение коллег по этому вопросу - сколько на самом деле типов вопросов нужно и как применять их правильно.

    Пример вопросов multiple choice для , построенных на основе следующего утверждения:
    "Площадь круга рассчитывается по формуле S=pi*r^2, а длина окружности по формуле L=2*pi*r, где r - радиус круга, а pi - константа, равная 3.141..."

    1. Знание
    Чему равно число pi (с точность до 3-го знака после запятой)?
    3.414
    3.141 (+)
    3.134
    2.067

    2. Понимание
    Константа pi используется для расчета:
    Площади круга
    Длины окружности
    Площади трпапеции
    Площади круга и длины окружности (+)

    3. Применение
    Чему равна площадь круга с радиусом 2?
    12.564 (+)
    6.282
    9.454
    3.141

    4. Анализ
    Площадь круга A равна 18.846 квадратных сантиметров, длина окружности B равна 24.652 сантиметров. Какое утверждение относительно радиусов окружностей А и B является верным:
    Радиус A меньше радиуса B
    Радиус B меньше радиуса A (+)
    Радиусы окружностей равны
    Недостаточно информации для решения задачи

    8 комментариев:

    Владимир Наумов комментирует...

    Блум стар, моден и хорош, да в придачу и побуждает к креативности, при этом сам не вышел за пределы механического научения.
    Когда автор создает нечто в соответствии с блумовским подходом, он сам решает, что нужно знать и знает, как это решать.
    При создании конкретного курса "знать" ученика превращается в
    - определить
    - вспомнить
    - опознать
    - отличить
    - отнести к классу
    и массу чего-то еще.
    Аналогично можно пробежаться и по иным позициям КОГНИТИВНОЙ части таксономии Блума.
    А есть еще и аффективная (ГРУБО: 1. желание достичь чего-то, 2. готовность дать ответ, 3. согласиться дать оценку, 4. отнести к системе ценностей, 5. предпочесть). В ДО аффективная составляющая курса, как правило, игнорируется, а она то должна придать ДО гуманное лицо.
    Самое же сурьезное ограничение у Блума: таксономия не дает критериев для классификации/систематизации средств обучения (в частности, тестов) применительно к уже решенным задачам, в том числе и задачам вокруг числа Пи.
    Формально же тесты могут быть самыми простыми. Нужно, к примеру, понимать, что тест с выбором вариантов ответа может решать содержательные задачи, например, узнавание, отнесение к классу, припоминание, констатация, прогноз, оценка, предпочтение ПРИ м а н и п у л я ц и и фактами, датами, событиями, именами, примерами, местом, признаками, причинами, условиями, следствиями и т.п.
    Вот и думай, сколько надо типов тестов. Пусть формой (алгоритмами) тестов занимаются одни спецы (программеры), а их содержанием - авторы и методисты. Тогда многим из последних смысл из труда понятен станет.
    ... И полюбит ДО персонал ...

    Алексей Корольков комментирует...

    Владимир, я совсем не агитирую за Блума как универсальный классификатор. Как уже писал Игорь Скальский есть 48 педагогических теорий и каждый найдет себе ту, что больше подходит.

    Разумеется отнесение того или иного вопроса к определенному уровню классификации по Блуму зависит от ранее изученного материала. В зависимости от того, что ранее подавалось в учебнике один и тот же вопрос может быть как вопросом на знание таки на понимание ими применение.

    Текстик я написал потому, что регулярно наблюдаю (как правило в компаниях-клиентах, а не у профессиональных разработчиков) описанную беду с формулированием тестов - может кто-то задумается...

    Владимир Наумов комментирует...

    Вот я и задумался :), Алексей.
    Может, еще кто задумается, что НА ДЕЛЕ тестируют тесты, знания или память, узнавание или академическую осведомленность...
    Горе в том, что сами авторы min. в 90% случаев сами не осознают, что проверяют тестами, кроме своей фантазии. Что тут делать ...?
    А Блума я, если честно, люблю.

    Алексей Корольков комментирует...

    Проверка связи в новом блоггере - не обращайте внимания...

    Алексей Корольков комментирует...

    Согласен, обратите внимание - когда мы разрабатываем курс по заказу мы приносим клиенту сценарий. Он содержит цели курса, поэкранное описание курса, а также контрольные вопросы и упражнения. При этом мы про задачи и упражнения мы как правило не пишем (а клиент не получает и как следствие не задумывается) в чем цель включения данного вопроса в сценарий (просто включает, потому, что он кажется нам интересным и правильным).

    Я вообще думаю, что в сценарии должен сначала присутстовать перечень того, что мы хотим проверить - "цели теста", т.е. при каких условиях (условия задачи), чего мы ждем от обучаемого (например, способность посчитать площадь круга) и с какими результатами (стандартами качества).

    Только после этого для каждой цели тестирования нужно разрабатывать контрольные вопросы (один или несколько). В этом случае есть некоторая гарантия, что заказчик может оценить полноту разработанного тестирования.

    Владимир Наумов комментирует...

    Очень толковая мысль. Вполне реализуемая. Правда, ее реализация будет довольно громоздкой.
    Скорее всего, заказчику такие детали не понадобятся, а вот вооружить ими авторов курса - дело благородное.

    Алексей Корольков комментирует...

    Владимир, на самом деле это нужно нам, разработчикам - наболело. Меня тут один заказчик мучает - хочу протестировать что-нибудь - сделайте побыстрее. Понимаю, что будет если возьмусь, не прописав четко цели теста - в конце работы получу заявление "ой, а мы совсем не то имели в виду. тест как бы есть, но какой-то он не такой..." :)

    Владимир Наумов комментирует...

    Алексей,
    это тема отдельного разговора, вовсе не публичная :) , она для меня имеет практический характер. Оттестировать можно очень многое, тем более, что тесты могут быть констатирующими (контроль/диагностика и прочая рутина) и формирующими (на выходе давать обучаемого с задаными НОВЫМИ качествами). Эффективность теста - прежде всего в зашитом в нем "семантическом", смысловом/когнитивном/ментальном алгоритме, а не форме теста. Удастся разработчику победить этот семантический алгоритм - дело будет. Пока же алгоритм берется стихийно, интуитивно-эмпирически, методом тыка или здравого смысла. А по-моему, тут теорийка нужна.