Websoft

вторник, июля 07, 2009

Бизнес хочет больше тестов

Сегодня был у клиента (большая розничная сеть по торговле электроникой). Наблюдал изнутри учебный портал. Они запустили его в промышленную эксплуатацию 2 месяца назад (до этого около 6 месяцев шел пилот). В базе на 20.000 сотрудников (из которых только 15.000 "активных") и 72.000 завершенных тестов.

Т.е в среднем по 2.4 теста в месяц на сотрудника. Если отбросить статистику пилота - пусть будет 2. В год получится 24 теста на человека (360.000 завершенных тестов на компанию такого масштаба).

Я спросил - почему так много? Много? - удивился заказчик. Это еще мало - бизнесу понравилось то, как легко и быстро можно массово тестировать персонал, и он требует больше тестов. По каждому новому продукту, новым стандартам и технологиям и т.п. Также к итогам итогам тестирования привязывается вознаграждение сотрудников.

У кого-нибудь есть мнение о целесообразности тестирования знаний в подобных масштабах и оптимальном объеме тестирования? Может кто-то сталкивался с западной статистикой? Возможно стоит провести опрос среди клиентов...

20 комментариев:

Александр Ларин комментирует...

Бизнеса на выдумку горазды.
Знаю случай обсуждения тестирования определенной группы сотрудников еженедельно, мини-тестами из 10 вопросов.
В любом случае, даже такая аномальная активность – благо для системы обучения.

Остается только порадоваться тому, что в компании есть энергичные, деятельные менеджеры, понимающие важность обучения и контроля знаний, а также люди, способные воплотить их задумки.

Алексей Корольков комментирует...

Активность менеджеров - это прекрасно, только надо чтобы она еще подкрепляласьь качеством и надежностью создаваемых тестов. А вот с этим, мне кажется, есть проблемы.

Владимир Наумов комментирует...

Прочитав пост, захотелось представить, а каким может или должно быть обучение, чтобы тестирование в таком режиме было эффективным? Да и само тестирование тоже.

По минимуму напредставлялось следующее:
1. Тестирование должно быть не столько контрольным, сколько обучающим или с обратной связью, поддерживающим тех, кто успешен и подсказывающим, что, как и с помощью чего можно исправить, если выяснятся пробелы в знаниях.
2. Курсы или иные учебные мероприятия должны быть краткими, качественными и по делу. Всегда у обучаемых должен быть доступ к материалам или людям с вопросами или за справкой
3. А еще лучше, если в компаниях, так увлекающихся тестированием, было развито неформальное обучение, наставничество, обучение по требованию и т.п., а по результатам тестирования оценивались бы не только обучаемые, но и наставники и работа линейных менеджеров по поддержке компетентности работников.

Согласен с Александром Лариным, что здесь прослеживается образовательный энтузиазм менеджеров. Важно также, что к результатам тестирования (степени обученности персонала) привязывается и материальная мотивация – это штука у нас редкая.
Хорошо бы было провести полевое исследование в компании на предмет, что действительно думают о таком тестировании сами тестируемые и их непосредственные руководители + консалтинг по его итогам с целью оптимизации процессов корпоративной подготовки персонала.

andrey firsov комментирует...

Вопрос не в качестве тестов, а в качестве поддерживающих их курсов.
Просто сделать тесты гораздо легче.
Пусть будет тестирование, но пусть под рукой, в той же СДО, будет четкий и прозрачный курс по предмету...
Но тем не менее, я в озвученном вопросе - на стороне бизнеса. Для розничных сетей головная боль - это текучка и мотивация.
Чтобы уменьшить текучку, надо дифференцировать зарплату. Сделать это по объективным показателям (объем продаж) в большом супермаркете с общим залом практически невозможно. Отдать на полный откуп линейным менеджерам - породить дедовщину и психологические проблемы в коллективе. А вот так - тестированием, эта задача становится более разрешимой, потому что показатели вполне объективны, а главное - прозрачны и видимы, легко объяснимы со стороны руководства...
но еще раз скажу, нужна поддержка от методистов (курсы) и от линейных менеджеров (контроль и разъяснение). впрочем, не мне бы это рассказывать...

Александр Ларин комментирует...

Алексей, качество и надежность тестов, на мой взгляд, важно, если цель тестирования - внутренняя аттестация или сертификация. Подобные тесты обычно содержат не менее 30 заданий разной сложности, включая задачи и сложные формы: ранжирование, соответствие, при помощи которых, в какой-то степени, можно проверить не только знания, но и мышление.

Для тестов-летучек, которые, как мне кажется, используются в указанной Вами компании, это не так важно. Их цель - держать персонал в тонусе. Задания в них максимально просты и однозначны. Их количество невелико. Срок их актуальности - не более нескольких месяцев. То, что ответы на них становятся известны мгновенно - это, скорее, плюс, ибо, как правильно заметил Владимир, им присуща в равной степени контрольная и обучающая функция. Если ответы распространятся в виде шпаргалок - тем лучше.

На мой взгляд, иногда подобный подход вполне применим. Несмотря на первоначальную бессмысленность и нерациональность, предложения, которые выдвигает бизнес, часто содержат рациональное зерно.

webct комментирует...

Моё мнение - из практики - при массовом использовании ДО, когда это действительно поставлено на поток (тысячи обучаемых при единицах организаторов) и нужно что бы это работало, а не было для галочки, была и обратная связь и результаты, нет ничего более эффективного чем тесты, а точнее системы тестирования! При правильной (может не удачное слово -- хорошей) организации тесты могут вести обучаемого, проверять, мотивировать, даже учить, давать о них всю необходимую статистику и многое другое. Альтернативы я пока не видел. Поэтому если в СДО не развиты инструменты для разработки и настройки тестов (нет возможности автоматизировать допуски по результатам, нет выборки по категориям, мало типов вопросов, нет обратной связи, нет/мало инструментов статистики), то никто меня не убедит что эту СДО можно реально эффективно использовать при массовом обучении...

webct комментирует...

Так что - тесты, тесты и еще раз тесты - системно! :)

vvplock комментирует...

Вот что очевидно, так это то, что в изначальном посте нет ни слова про характер, содержание и форматные характеристики используемых в компании тестов. Непонятно даже, что они проверяют, тем более как. Ну и что тут можно обсуждать? Вообще зацикленность на тестах, преувеличение их значения - очень ясный и прозрачный симптом нездоровья любой компании, а уж имеющей дело с высокотехнологичным оборудованием, и подавно. Сомнений в их неочевидной "надежности" у меня даже не возникает: вряд ли люди, их разрабатывающие и применяющие вообще знают, что это такое. Что может дать такое тестирование? Некомпетентный сотрудник будет уволен? Хорошо, но откуда компания возьмет компетентного, с улицы? Тестирование в компании имеет смысл только тогда, когда оно используется при входном профотборе, либо когда оно является одним из инструментов системы обучения сотрудников. Во втором случае самоценность тестов очень невелика, они выполняют важную, но, тем не менее, сервисную функцию. Главным звеном (точнее, ядром) такой системы является компетентностная модель работника. Если ее нет - любым сварганенным на коленке тестам прямой путь в мусорную корзину. Все, что они буду проверять, дак это степень некомпетентности разработчика такого теста, но никак не тестируемого сотрудника.

vvplock комментирует...

to webct: Вы писали
При правильной (может не удачное слово -- хорошей) организации тесты могут вести обучаемого, проверять, мотивировать, даже учить, давать о них всю необходимую статистику и многое другое.
Тест - измерительный инструмент и ничего другого. Все остальные эффекты использования тестов, тем более обучающий, сугубо вторичны. Их программирование - чрезвычайно сложная, почти неподъемная задача. Как только мы начинаем заниматься чем-то подобным, мы встаем на скользкий путь, ведущий к потере тестом своих неотъемлимых свойств, и прежде всего - надежности. Т.е. создать такой тест, вероятно, можно, но только положив на это неоправданно много сил и времени. То же, о чем Вы говорите - не тесты. Именно так. Может это и неприятно, и даже обидно, но - не тесты. Обучающие программы, тренинги, системы мониторинга, что-то есчо - но не тесты! "Пользовать тесты" нынче очень модно. Поэтому ко всему, что хорошо или плохо лежит лепят ярлык "тест", для солидности. Разработка надежного, пусть даже критериального, теста - дело как минимум месяца. Все, что варганиться за неделю-две - пшик. Любой тест требует оценки ретестовой надежности на репрезентативной выборке + время на обработку результатов + время на коррекцию опросника и так по спирали. Да какой там месяц - полгода бы хватило.

vvplock комментирует...

Любой тест должен иметь спецификацию, содержащую описание всех его сущестсвенных характеристик, обоснование валидности, надежности и проч. Если она не составлялась - теста нет, есть только стопка бумажных листов или кучка компьютерного кода. Применение ненадежных "тестов" в профотборе по определению повышает вероятность "отсева" действительно перспективных кандидатов, в оценке персонала - к увольнению компетентных сотрудников. Если компания готова на это идти - знамя в руки!

Александр Ларин комментирует...

vvplock, большое удовольствие получил от чтения Ваших сообщений.
Пожалуйста, пишите еще!

Владимир Наумов комментирует...

to vvplock и А.Ларин:
Отцы основатели андрагогики вообще намекали, что в обучении взрослых контролирующие задания малоуместны или вовсе не уместны

Александр Ларин комментирует...

Владимир, в сообщении vvplock я не согласен буквально с каждым тезисом. Хотя бы потому, что мой практический опыт вопиет об обратном. Для академической сферы, данные тезисы, в целом, верны, для бизнеса – ни в коем случае.

Но, считаю любое иное мнение, пусть даже оно кардинально отличается от нашего, важно услышать и понять. Хотя бы для того, чтобы еще больше утвердиться в своей позиции. :)

Именно подобные сообщения заставляют переосмысливать, сопоставлять, размышлять.

Кстати, без привязки к данной теме, вспомните, что один из самых эффективных, привлекательных и мотивирующих способов обучения - поиск ошибок и заблуждений в мыслях и поступках других людей.

vvplock комментирует...

Еще раз перечитал ранние сообщения и, показалось, стал понимать еще меньше, чем при первом знакомстве. "Тесты-летучки" - это как? Это все-таки тесты, или нет? Думаю, могло показаться, что я прямо зациклился как-то нездорово на надежности тестов. Это не так.
Выше я говорил про компетентностную модель работника (специалиста). В ее отсутствие практически нереализуемой становится задача обеспечения другого (наряду с надежностью) ключевого, а, по-сути, главного, свойства тестового инструмента - его валидности. Точнее валидностей (содержательной, прогностической и др.). Можно создать вполне надежный тестовый инструмент, однако его невалидность перечеркнет все усилия разработчиков. Но, что характерно, об этой неудаче вполне может никто и никогда не узнать (!). То есть инструмент будут пользовать на всю катушку, не подозревая, что он измеряет совершенно не то, что требуется. Причем компетентностная модель должна быть не абы какой, а параметризованной. Каждая компетенция должна быть описана таким образом, чтобы ее можно было измерить.
Тест должен быть валидным и надежным по определению, иначе он не тест. То и другое должно быть обосновано известными способами и средствами. Также тест должен отвечать требованиям предметной чистоты содержания (или одномерности), логической правильности содержания заданий, правильности формы, локальной независимости заданий теста, технологичности, эффективности, известной трудности и коррелируемости задания с критерием. Реализация этих требований предполагает обязательность эмпирической проверки тестовых заданий. Многовато всего, не правда ли. Прямо-таки чересчур :-) Ну да ничего не поделаешь. Тест - по определению высокоточное средство объективной диагностики. Нуждаемся в таком - придется соблюдать требования. Кстати, инструменты используемые в российском ЕГЭ называют КИМами (контрольно-измерительными материалами) именно потому, что они не в полной мере соответствуют требованиям, предъявляемым к нормативным тестам. А ведь, по сути, зря. К чему все эти церемонии. Ведь называют же поделки в женских журналах тестами и ничего, никто от этого как-будто до сих пор не умер :-) А если серьезно, то что, разве в русском языке мало слов, которыми можно назвать всяко-разные "тесты-летучки", "еще-не-тесты", "почти-что-тесты", "больше-чем-тесты" и иже с ними. Что, разве так уж зазорно называть их опросниками, анкетами, диагностическими комплексами, как то еще. Зачем устраивать всю эту неразбериху с называнием одим словом принципиально разных, несравнимых сущностей?

vvplock комментирует...

"Мини-тест" из 10 вопросов еженедельно??? Чесное слово, дух захватывает. Это же прямо праздник какой-то. А вопросы какие используются? Если есть закрытые, то сколько закладывается дистракторов? И сколько времени отводится на анализ неработающих дистракторов? На какой выборке они выкашиваются? И за сколько приемов?

Владимир Наумов комментирует...

to vvplock:
Ваши озабоченность валидностью и надежностью связана с тестами достижений? Возникло впечатление, что идет невольный перенос требований к психологическим тестам на тесты учебные.

Александр Ларин комментирует...

vvplock, спасибо за развернутое сообщение. Вспомнил, что в свое время читал неглупые книги и даже посещал лекции профессора Аванесова по тестологии. Был удивлен, насколько мало они пригодились при построении системы оценки знаний в банке.

Сферические кони продолжают летать в вакууме и жить размеренной академической жизнью, а жестокая судьба подбрасывает нам задачи с совершенно неожиданными входными условиями. И ведь есть только два варианта: Вы помогаете бизнесу организовать тестирование, или они все равно сделают это сами, но коряво, а Вы можете гордо начинать паковать чемоданы.

А слово тест будем использовать и дальше, потому что предложенные Вами варианты не устраивают. Но, лично я, обещаю писать его только с маленькой буквы. :)

vvplock комментирует...

to Владимир Наумов: Владимир, я как раз говорю о педагогических тестах. Кстати, их часто относят к тестам достижений, но этот вопрос пока остается спорным. Требования к нормативным педагогическим тестам, как известно, даже более жесткие, чем к психологическим (определяются IRT - современной теорией тестов). С критериальными тестами все несколько проще, они могут быть верифицированы на основе подходов классической теории тестов.

vvplock комментирует...

to Александр Ларин: Лекции Аванесова - это конечно классика отечественной тестологии, но не ее передовой край. Кстати я, являясь дипломированным тестологом (скромно кручу где-то рядом носком ботинка), как раз-таки и не считаю целесообразным использовать тесты в практике определения профпригодности обучения или персонала. Никакой нужды использовать такой сверхточный инструментарий, каким являются тесты, в работе с пероналом не вижу.
В академической среде с тестами, действительно, несколько проще. Критериальные тесты для вуза - более менее подъемный предмет.

vvplock комментирует...

Нет, ну хочет бизнес тестов, с большой ли, с маленькой ли буквы - пускай получает. Это его проблема. Будут пользовать вместо тестов что угодно другое, называя это тестами - кому от этого плохо? Ну, разве что немного обидно тем, кто как-то причастен к разработке методологии тестирования. Их не так уж много и навряд ли стоит озабочиваться их проблемами. Важнее другое. Расхлябанное, поверхностное, несерьезное отношение к серьезному инструменту - симптом некомпетентности ЗАКАЗЧИКА (не исполнителя, он просто отрабатывает свои деньги). Пусть частный, но симптом. Если в компании с персоналом работают действительно компетентные спецы, а руководство не строит бизнес на основе своих впечатлений от перелистывания женских журналов, тестировать в ней не будут вообще или будут делать это в крайних случаях, используя не поделки, а серьезные инструменты.
Фраза "мы протестировали сотрудников" для грамотного специалиста означает, что были затрачены большие ресурсы на разработку и внедрение серьезного высокоточного инструмента. Когда на поверку тестирование оказывается "пшиком", это накладывает негативный отпечаток на всю компанию и ее руководство.
Впрочем, подозреваю, что распинаюсь здесь зря. Раз уж бизнес готов платить за "тесты", таковые будут клепаться не взирая ни на что.