Websoft

понедельник, мая 12, 2008

Ах, эти вредные тесты…

Проблема тестирования персонала, равно как и успешности обучения (а значит, измеримости его качества) является одной из самых сложных и наименее разработанных. Тесты, в том числе и компьютерные, вызывают массу нареканий.
В условиях же электронного обучения от тестов по определению никуда не деться.

Тесты бывают разные:
1. Тесты общих способностей
2. Тесты специальных способностей применительно к различным областям деятельности, в том числе и профессиональной
3. Тесты обученности (учебных достижений)
4. Тесты для диагностики отдельных свойств и черт личности (память, темперамент, внимание и пр.)
5. Тесты для определения компетенций
6. Тесты, измеряющие уровень воспитанности и социальной адаптивности

На каких тестах остановиться? Какие тесты компетентны использовать корпоративные учебные центры в электронных курсах? Способны ли авторы-разработчики штучных корпоративных курсов снабдить их валидным и надежным тестирующим пакетом? Что для этого нужно?

В моей практике разработки курсов корпоративные заказчики и/или непосредственные начальники, не ведая, что творят, неоднократно побуждали меня в сроки от 2 дней (!) до 2 месяцев создавать доморощенные тесты, соответствующие пп. 2, 4, 5 и 6 из приведенного выше списка. Приходилось, если аргументы не помогали, руководствуясь профессиональной этикой, либо делать вместо них наиболее безопасные тесты обученности, либо прибегать к позаимствованным стандартизированным методикам.

Как вы, коллеги, решаете задачу разработки тестов в электронных курсах? По возможности, поделитесь опытом.

6 комментариев:

Алексей Корольков комментирует...

У меня есть некоторое сомнение в возможности разработки проф. теста для определения уровня развития компетенции в целом. Вот знания - это да...

Владимир Наумов комментирует...

Согласен, одними знаниевыми тестами (т.н. тестами достижений=обученности) компетенцию не измерить. Знание - это еще не вся компетенция, посему тесты достижений используются в комплексе с другими, прежде всего с тестами адаптивости, тревожности, стрессоустойчивости и пр. соуиальными. Результативность? Желает лучшего... :)
Да и вообще обученность и образованность - вещи разные. Диагностика компетентностей относится к сфере образованности, а не обученности. Пока в корпоративном обучении я не встречал запросов на измерение образованности, кроме как по недомыслию и волюнтаристских.

Veselej комментирует...

Среди указанных шести видов тестов я не нашел тестов, обнаруживающих СДВИГИ в навыках. Кроме того, есть подозрение, что нет тестов на обнаружение ГОТОВНОСТИ к новому виду деятельности.
Этот дефицит можно объяснить только тем, что отсутствует целостное представление о деятельности как организованной активности человека. А также - о технологии любой деятельности как наивысшей форме деятельности, гарантирующей результат.
Причины понятны: строительство и отделка развиваются тысячи лет и там технологии доведены до изумления.
Система обучения-образования только недавно начала осознаваться как целенаправленная деятельность. И то не везде. В школах и гимназиях этого еще не ведают.

Алексей Бондаренко комментирует...
Этот комментарий был удален автором.
Алексей Бондаренко комментирует...

Ну что за мания все измерить, посчитать, оцифровать?:) Хотя оно и правильно, нужна же сухая статистика, а не совокупность человеческих факторов, влияющих на действия сотрудника в критических ситуациях:)
Если принять, что "компетенция" это по сути навык обеспечивающий, успешность в своей области рабочей
деятельности
, то нужно и применить инструмент, измеряющий навык, что есть по сути опыт. Рассуждая дальше
логически, можно придти к выводу, что компетенция, это также и вероятность получения успешного результата.
Поскольку машины времени еще не придумали, то в настоящий момент нельзя 100% сказать какова будет успешность выполнения сотрудником того или иного задания. Но все таки мы можем спрогнозировать с определенной вероятностью успешный результат, применяя соответствующий инструменты. Вопрос в том какой именно инструмент даст наибольшую достоверность.
Самым логичным и используемым на практике является success story аналогичных и близких по сути выполненных задач сотрудника. Если такая story есть, то логичен и вывод о том, что если сотрудник 1 раз выполнил задачу успешно, то и второй раз он ее выполнит также успешно.
Но более тяжелый случай, когда success story нет, а есть только диплом об образовании. В этом случае многие останавливаются на измерении уровня знаний, - для этого есть соответствующие тесты, они прозрачны и всем понятны.
Но у сотрудника нет навыка использования этих знаний, нет опыта, и как он поведет себя в той или иной ситуации - неизвестно (вывод о том что раз есть набор знаний, то значит и человек умеет ими пользоваться в корне неверен).
Отсюда логический вывод, - раз у человек нет success story, значит ее нужно создать:) Причем создать с минимальным риском для компании. Простите за сравнение - тренировкой на трупах, как набирают опыт хирурги. Т.е. на том, где сотрудник не принесет вреда компании своими осознанными или неосознами ошибками применив знания не в той пропорции.
Возвращаясь к теме e-learning, success story можно создать с помощью моделирования реальной ситуации, виртуальный мир - игра, которая макимально точно может повторить возможные задачи с применением всех прелестей реальной жизни в виде последствий от успешности выполнения задачи (штраф, бонус и т.д.). В идеальном случае моделировать ситуацию должен
искуственный интеллект (ближайший реальный существующий аналог - нейросетевые технологии), подстраиваясь под действия сотрудника. Путь проще - виртуальная игра, с использованием всевозможных кейсов (в т.ч. и бывших ранее), максимально приближенными к реальности (например моделирование телефонного звонка, а если есть технология распознавания речи, то можно позвонить с реального телефона и смоделировать например "холодный звонок" виртуальному клиенту). Сложность в том, что при таком моделировании сотрудник не осознает реальность происходящего, что это как бы "не по настоящему", и проявление всех человеческих факторов которые могут возникнуть в реальности предсказать будет сложно. Поэтому нужны некие реальные "последствия" о которых я говорил, чтобы получилось реальное success story. Еще лучше будет если
результат действий в виртуальном мире, виртуальной игре будут материальными в реальной жизни. Например, при успешной продаже виртуальных полисов в игровом мире, виртуальная сумма, в зависимости от игрового курса валюты, может быть
переведена в реальные деньги (как затраты на обучение) или иной бонус. Примеров и моделей можно придумать много, мы как раз думаем над реализацией подобной игры у нас в компании.

P.S:
Я очень хорошо помню фантастический рассказ про полет на Марс, который на меня произвел большое впечатление (читал в детстве, к сожалению не помню автора), когда экипаж изнуряли на Земле долгими тренировками и моделированием
всевозможных нештатных ситуаций. А самое интересное произошло на финальной тренировке, когда экипажу объявили что эта тренировка последняя и после нее будет реальный полет. Экипаж с тренировкой справился, во время "полета" возникало множество сложных непредвиденных ситуаций, но люди успешно с ними справлялись. И каково же их было удивление, когда
после "учебного" приземления, они действительно оказались на Марсе. Т.е. "финальная тренировка" была реальным полетом.
Т.е. в e-learning один из кейсов можно сделать реальным, но так, чтобы сотрудник не знал какой кейс реален (моделирование электронных писем, звонков, продаж и т.д.).
Мне также очень нравится фильм "Игра" (The Game, Режиссер - Дэвид Финчер. В ролях - Майкл Дуглас, Шон Пенн), где с главным героем "играли" в реальной жизни, где все окружение главного героя были актерами, но он воспринимал это как
реальность. Не знаю еще как это можно применить в компании, в этом должно быть задействовано много людей и наверно это будет применимо только к топ-менеджерам, ошибка которых будет стоить компании очень дорого.

Владимир Наумов комментирует...

Алексей, совершенно согласен с Вами в вопросе о success story. Такой подход может многое решать. А для того, чтобы игры и симуляции задевали бы и компетентностные вещи, в тело имитации чисто производственных процессов стоит встраивать задания и даже стандартизированные тесты, требующие от обучаемого демонстрации уверенности, инициативы, стрессоустойчивости, нравственного выбора, проблемные вопросы и пр. Если при этом обучаемый будет нечто выдавать и на открытые вопросы, хоть изредка к игре подключать для их обработки тьютора, наставника или эксперта, а то и менеджера, а также перемежать оффлайновую работу периодической групповой в онлайне, т.е. обсуждать ход игры и реакции обучаемых, очень многого можно добиться в плане обучения людей.