Websoft

суббота, октября 31, 2009

Анализ эффективности и эффектности: реально?

Еще один материал с круглых столов конференции. На этот раз анализ обсуждения темы "Анализ эффективности и эффектности: реально?". Ведущим обсуждения был Иван Никифоров из компании Новый Диск.

Что такое эффектность в e-learning?

Все участники обсуждения сошлись во мнении, что под эффектностью следует понимать субъективное впечатление, произведенное курсом или программой на пользователей, т.е. «нравится – не нравится». Оценить степень эффектности можно проведением опроса среди пользователей.

Что понимать под эффективностью в e-learning?

1. Эффективность – это степень достижения достижение поставленных целей. Соответственно насколько поставленные цели обучения были достигнуты, насколько оно и эффективно.

2. Эффективность можно оценивать на нескольких уровнях:
a) насколько усвоен пройденный материал (проверяется итоговым тестированием, лучше в сравнении с предварительным);
b) насколько улучшились умения и навыки сотрудника и в целом качество его работы после обучения (наиболее адекватный вариант оценки здесь это оценка по методу 360°);
c) насколько больше прибыли компании стал приносить сотрудник после обучения (здесь способ оценки будет всецело зависеть от бизнеса компании и занимаемой должности обучаемого сотрудника).

3. При проведении оценок 2a и 2b надо понимать, что чрезвычайно сложно, особенно в пункте 2b, оценить вклад e-learning в рост компетентности и полезности сотрудника.

4. Вероятно, серьезная численная оценка того, насколько эффективно внедрение e-learning в конкретной компании, и может быть произведена, однако сама по себе эта оценка может стоить дороже внедрения дистанционного обучения J.

24 комментария:

Ирина Деточка комментирует...

Очень сложно, практически невозможно, просчитать эффективность обучения, если не прописаны карты компетенций... И очень просто, когда карты прописаны (каждая компетенция - как минимум до 5 уровня), да еще эти компетенции свяаны со стратегией в рамках стратегической карты.

А пока этого нет, все рассуждения об эффективности обучения (хоть очного, хоть дистанционного), очень напоминают разговор глухого со слепым. Пока не пропишутся компетенции, всю эффективность обучения, в том числе - и ДО, будут измерять количеством выпущенных слайдов и числом несчастных, вынужденных эти слайды пролистывать, зевая и чертыхаясь... Только где бы найти того крайнего, кто должен все-таки в итоге прописать карты компетенций, да еще умудриться при этом не спутать их с должностными и рабочими инструкциями :(((

Алексей Корольков комментирует...

Ирина,
компетенции это только одно из измерений.

Вопрос в том, какие цели обучения ставил заказчик - если это приобретение обучаемым определенных компетенций, это одно. А если достижение практических результатов (снижение количества ошибок, увеличение продаж и т.п.)? Компетентный человек не всегда эффективно достигает целей, поставленных перед ним организацией. Например, потому, что ему наплевать на результат :)

Ирина Деточка комментирует...

И я про тоже.

Каждая карта компетенций ДОЛЖНА существовать не сама по себе а В ОБЯЗАТЕЛЬНОЙ привязке к стратегической карте. Тогда разрыва с целями компании не будет. И идя дальше, мы призодим к тому, что и оплата труда, соответственно, привязывается к уровню результатов, достигнутых 1) самим сотрудником, 2) его подразделением, 3) компанией в целом. Это все очень просто. Но этого нет в большинстве компаний. И я вижу прямую связь с качеством образования, которое дают "менежерам" наши ВУЗы, о чем было сказано здесь же в другом посте :(((

Алексей Корольков комментирует...

Может быть проблема еще и в том, что если стратегическая цель топ-менеджера - суметь "договориться" в правительстве о получении льготного кредита и нерыночных преференций, то ее как не каскадируй, все равно не получается по честному довести до цели "улучшить качество обслуживания гражданина Пупкина" у конкретного кассира или оператора :)

Ирина Деточка комментирует...

Алексей,

тогда, пожалуй, вообще не надо говорить об эффективности обучения :) Но вот Вы же конференцию провели, круглый стол организовали, серьезно этот вопрос обсуждали. Тогда зачем? Если это все равно никому не нужно?

А то получается, как ЛМС продавать - так это суперэффективно для бизнеса и масса примеров в подтверждение, а как считать качество обучения, передаваемого с помощью этих же ЛМС, то, если следовать Вашей логике, получается, что делать это или нереально дорого, или незачем в виду всеобщей коррумпированности :)))

Мне кажется, просто каждый должен уметь честно делать свою часть работы. Вы и другие компании-разработчики - делать ЛМС, позволяющие работать с картами компетенций, кто-то - и мы в их числе - делать качественные курсы, привязанные к достижению целевых показателей, HR - прописывать компетенции и измерять прогресс после обучения. И все вместе понимать, что без наличия хотя бы одной их этих составляющих, говорить об эффективности обучения - это просто потеря времени :((

Алексей Корольков комментирует...

Так мы и делаем систему с картами компетенций и привязкой их к учебным программам, с формирование индивидуальных планов развития, с возможностью посттренинговой и пост илерниговой оценки компетенций и эффективности деятельности.

И зовем консультантов - ау, консультанты, такая есть замечательная система, приходите, учите клиента уму разуму, перестраивайте его "кривые процессы", автоматизируйте их!!!

Но консультанты, как правило, предлагают клиенту то что просто и очевидно (тренинг, коучинг или стратегическая сессия для топов, ассессмент центр ...), а не сложные проекты с анализом, перестройкой и автоматизацией бизнес-процессов.

И особо не задаются вопросом - а в чем смысл того что они продали. Нужен ли был этот тренинг, есть ли в компании система оценки эффективности только что обученных менеджеров, как скоро уволят кадрового резервиста только что прошедшего центр оценки или развития.

Мы продаем инструменты и не претендуем на истину. Если клиент хочет большой королевской печатью колоть орехи - его дело. Мы можем высказать свое мнение на этот счет. если спросят, но настаивать не будем. Мы программисты, а не консультанты.

Ирина Деточка комментирует...

Алексей,

про то, что Вы не собираетесь брать на себя роль консультантов, Вы уже писали, я помню.

У меня просто возник вопрос - если в большинстве компаний нет привязки результатов обучения к картам компетенций и стратегическим картам, какой смысл тогда вообще обсуждать вопрос эффективности обучения? Или говорить о том, что это сделать очень сложно?

Алексей Корольков комментирует...

Если у нас в стране большинство чиновников берут взятки, значит ли это, что об этом не нужно говорить, даже если предполагать, что ничего улучшить нельзя?

На самом деле, мне всегда казалось. что большинство людей при выборе делать свою работу хорошо или плохо, предпочтут делать ее хорошо (если это конечно не будет стоить им дополнительной крови и пота). Если все равно сидишь в офисе 8 часов, то приятнее осознавать что твой труд не выкинут на помойку за ненадобностью. Соответственно, есть надежда на то, что те кто поймут как работать правильно, по крайней мере, попытаются это сделать.

Ирина Деточка комментирует...

Алексей,

я вполне разделяю Вашу позцию, что люди в любом случае предпочтут хорошо работать. И я не задалась бы вопросом: "зачем было это обсуждение об эффективности обучения?", если бы его итогом было бы, например, такое заключение:

"Так как померить эффективность обучения в отсутствие прописанных карт компетенций, связанных со стратегическими целями компании, невозможно или нереально сложно, то большинство отделов обучения в компаниях сегодня работает, основываясь на собственных представлениях о том, что такое "хорошо" и что такое "плохо" , иначе говоря - что такое "эффектно", а что - "эффективно", каждый - в меру своего понимания".

Тогда мне изначально все было бы понятно и я не заняла бы столько Вашего времени и внимания.

Прошу прощения за изначальное недопонимание.

Elena Lokteva комментирует...

Модели компетенций - не единственный способ выявления потребностей в обучении и оценки его эффективности. Есть и другие подходы. Не говорю уже о том, что подходов к выявлению этих самых ключевых для компании компетенций -не один и не два.
А есть, к примеру, компании, которые просто вкладывают в обучение сотрудников средства, даже если сотрудник хочет учиться на курсах кройки и шитья. Сотрудники в таких компаниях, как правило, очень лояльны, и более мотивированы к обучению в принципе. Интересно, как они оценивают эффективность?

Ирина Деточка комментирует...

Елена, не буду спорить с Вашим богатым бизнес-опытом, но я знаю, что в менеджменте есть четкое определение: "Нельзя управлять тем, что не измеряешь".

И говорить что измерить эффективность обучения очень сложно, только потому, что кому-то лениво прописать компетенции или он просто не знает как это сделать, прикрываясь при этом, что: "вот в других компаниях же тоже не далают, и ничего - все лояльны", на мой взгляд, не совсем правильно.

Следуя Вашей логике, стоит идти до конца и тогда говорить откровенно: "А зачем ее - эту эффективность обучения - измерять? Мне и так зарплату платят. А так еще, не дай Бог, привяжут ее к результатам обучения, а в какой мере я могу отвечать за то, как там кто-то учится? У начальства зарплата большая, вот пусть оно и отвечает" :))) Тоже позиция, имеющая свое право на существование...

Как и Алексей, я не ставлю перед собой задачу научить всех и вся тому - что, кто и как должен делать. Мне просто не нравится, когда: говорят одно, а имеют в виду другое, или не договаривают, или передергивают.

Моя позиция - посчитать эффективность обучения МОЖНО и совершенно НЕСЛОЖНО. И уже имеющиеся возможности ЛМС могут серьезно в этом помочь и еще больше облегчить эту задачу, хотя для этого нужно один раз провести МНОГО СЛОЖНОЙ РАБОТЫ. Только это позиция для тех, кто действительно хочет ОСМЫСЛЕННО проводить обучение внутри своей компании. Всем остальным можно принять выводы, сделанные на конференции в рамках данного "круглого стола".

Протасов Михаил комментирует...

Ирина, Вы могли бы привести примеры компаний, в которых эта работа была бы сделана наилучшим, на Ваш взгляд, образом? Имеется в виду работа по созданию карты компетенций с последующим привязыванием к ней стратегической карты, эффективности обучения, зарплаты сотрудников и т.д.

Ирина Деточка комментирует...

Могу, Михаил, - компания Mobil, например, и другие :))) (см. Нортона и Каплана - любую из их 4 книг).

А если серьезно, то как в минимум трех компаниях, мы, еще будучи консультантами, делали проекты по "полному циклу" каскадирования стратегических целей в индивидуальные планы развития, а еще в двух производственных компаниях и одном банке, работали в проектах только по описанию стратегии с помощью ССП. В одной из компаний, в которой реализована привязка системы оплаты к достигнутым показателям по индивидуальным стратегическим картам, я три года была независимым членом Совета директоров. Но это небольшие региональные компании, названия которых Вам ничего не скажут, да и мы не имеем привычки раскрывать информацию о работе с клиентами без согласования с ними. Но пример одного из проектов, в котором, в том числе, прописывались и профили компетенций, и их согласование с целями компании, висит у нас на блоге и в библиотеке.

И Вы ошиблись, карта компетенций не привязывается к стратегической карте, а сначала составляется стратегическая карта, потом она каскадируется на уровень подразделения, а затем - на индивидуальный, определяется потребность в ключевых компетенциях, проводится аудит существующего уровня компетенций, на основе этого аудита определяется разрыв, и уже исходя их выявленного "разрыва" составляется план индивидуального развития, включающий в себя, в том числе, и план обучения. А к плану развития уже привязывается периодическая аттестация, использующая, в том числе, и инструменты оценки на 360 градусов.

Алексей Корольков комментирует...

Ирина,
процитирую анекдот - "С таким маркетингом, ты этого слона не продашь!". Общие слова консультантов из серсии почитайте Каплана, Нортона и Питера Дракера уже никого особенно не возбуждают. Видел я изнутри разные multinational компании, описанные в учебниках. Даже там совсем не все так гладко, как на бумаге.

Я также знаю массу компаний в которых разными консультантами разрабатывались стратегические цели, модели компетенций, проводились сессии для топ-менеджеров и т.п. Только в большинстве компаний эта деятельность почти никак не каскадировалась до уровня конкретных задач "в поле" - разработка курсов и тренингов, формирование планов обучения и т.п.

Если вы советуете перед созданием курсов создать стратегическую карту - расскажите как вы в реальности ее сделали и плюс к этому как клиент (сам или с вашей помощью) начал после этого начал создавать учебные программы в соответствии с этой картой и каких успехов добился (как померяли ту дополнительную эффективность, которая возникла). Без конкретных примеров - это общие слова, которые можно почерпнуть из любого мало-мальски осмысленного учебника.

Не думайте, что я сомневаюсь в правильности ваших слов, просто хочется увидеть их практическое воплощение. Проблема большинства российских управленческих консультантов именно в том, что они готовы сколько угодно говорить очень верные слова, но не могут привести практически никаких реальных проектов, в которых правильные идеи были доведены по реального ИЗМЕРИМОГО воплощения... Описанные на сайтах и в статьях кейсы как правило очень общие, в них практически нет реальных цифр, все исключительно на уровне стратегии и концепций.

Ирина Деточка комментирует...

Алексей,

а я как раз и ссылаюсь на пример, который висит у нас на блоге и одновременно в библиотеке, и который показывает, как программа обучения была расчитана, подтверждена цифрами и измерена реальными показателями "до" и "после". Мы не в теории рассуждали, мы "ручками", по крупицам, собирали стратегические карты и карты компетенций. Но тогда мы работали, проводя очное обучение, и с региональными компаниями. А сейчас - дистанционно и с федеральными.

И я просто мечтаю найти заказчика, который для меня именно так и поставит задачу по разработке курса - "у меня есть стратегические показатели, которых мне надо достичь, обучив моих людей, соберите мне курс, учебные цели которого будут поддерживать мои стратегические цели и вытекать из них".

Но пока заказчки (Слава Богу, не все!) гораздо активнее обсуждают диалогические методы в обучении и борьбу текста и иллюстраций на слайдах. И сообща на конференции приходят ко мнению, что эффективность обучения измерить очень сложно, даже не делая при этом попыток обсудить, что на самом деле это ВОЗМОЖНО и НУЖНО делать, хоть с консультантами, хоть самим, если в состоянии справиться и без консультантов.

Если консультанты не могут - пусть заказчики сделают это сами. Но пусть СДЕЛАЮТ, то есть - привяжут планы обучения к картам компетенций и стратегическим картам. Если не могут, или не хотят, то тогда вообще не стоит поднимать тему оценки эффективности обучения. Так, на мой взгляд, будет честнее.

А если заказчик не хочет или не может поставить мне задачу так, что бы, я, разрабатывая курс, связывала учебные задачи с бизнес-целями и определяла измеримые показатели достижения или недостижения этой цели, то я, как и Вы, занимаю позицию - "хотите колоть орехи королевской печатью - колите", хоть об ЛМС речь, хоть - об курсе.

По поводу общих слов - Вы же не выкладываете код своей ЛМС в открытый доступ, считая что Вы имеете на это право, вложив в создание ПО свои время и силы. С какой стати Вы требуете от меня, чтобы я выложила в открытый доступ свои компетенции и способности реализовать проект? Будет заказчик, готовый оплатить эти компетенции, - я ему и выложу, с телефонами конкретных людей-руководителей компаний, которые могут дать рекомендации о выполнении аналогичных проектов.

Описания любых консультантов - и российских, и западных, - все строятся по одной схеме. Кто понимает о чем речь, тому достаточно, а подробных бесплатных пошаговых инструкций к проекту Вы ни в одной статье не найдете.

lern21 комментирует...

А почему эффективность электронного обучения должна отличаться от живого?
Консервы тоже должны быть съедобными, хоть и консервы.

Проблема оценки живого обучения в корпорациях давно решена и эти подходы надо использовать.

Elena Lokteva комментирует...

Ирина,
не стоит ехидничать на предмет моего бизнес-опыта. :) Мы внедряли модель компетенций, и не буду скромничать, отчасти благодаря мне, поскольку с такой инициативой выступил именно УЦ. Мы ездили потом в Москву, встречались с консалтингом (в частности - с такими асами, как Экопси, DeTech). Причем, консультанты удивлялись, что мы были настолько подготовлены в вопросе. Я даже успела пройти обучение, которое проводил для нас директор DeTech, и влюбиться в их методику. Поэтому Ваши намеки, что мне что-то лениво, или я что-то не знаю, а потому чем-то прикрываюсь, просто смешны. :)
А подход, который я упомянула, если не ошибаюсь, использует Google.

Ирина Деточка комментирует...

Елена,
если именно Вы, в лице УЦ, выступали инициатором внедрения модели компетенций, то, право, очень жаль, что Вы, уйдя из компании, так и не смогли довести это дело до конца. Надеюсь, Ваши преемники подхватят "выпавшее знамя".

Впрочем, с другой стороны, Ваш уход может служить и примером того, что далеко не всегда компания, вкладываясь в обучение своего сотрудника, и оплачивая его поездки на семинары, конференции, и т.д., получает от него ответную лояльность. И это, в некотором смысле, является опровержением Ваших же слов, сказанных ранее.

В любом случае, буду рада обсудить с Вами любые конструктивные предложения о том, какие существуют методы измерения эффективности и результативности обучения, помимо тех, что использовали мы в работе со своими клиентами - каскодирование стратегических карт и прописывание профилей компетенций.

Единственная позиция, которая меня напрягает, эта та, что эффективность и результативность обучения измерить ОЧЕНЬ СЛОЖНО. Потому что от этой позиции один шаг до позиции, что считать эффективность и результативность обучения НЕ НУЖНО. И тогда пропадают любые способы получить объективную оценку используемых подходов и методов в обучении персонала, и все начинает сводиться к вполне банальной позиции отдельного субъекта - "а вот лично мне нравится или не нравится"...

Elena Lokteva комментирует...

Ирина,
проектом по внедрению модели компетенций занималась моя сотрудница. Она еще там, и я уверена, что все будет доведено в лучшем виде. Такая уж это компания.

Что касается лояльности - я могу долго и много рассуждать на эту тему, но не буду. Одно скажу: не Вам и не здесь анализировать мою лояльность к этой компании.

Попробую более-менее однозначно очертить свою позицию, чтобы Вам не пришлось больше ее за меня додумывать (все время забываю, что Вы склонны не только додумать, но и озвучить то, что додумали).

1. Оценивать эффективность обучения можно и нужно. И не только в компаниях.
2. И это действительно непросто. Хотя бы потому, что все компании разные, и у всех своя корпоративная культура и система ценностей. Но сложно<>невозможно. И я уверена, что все это понимают уже давно, никому не нужно это объяснять. Не надо думать, что специалисты по обучению менее заинтересованы в том, чтобы оценивалась их работа. Как правило, в компаниях на это завязаны премии и всякие бонусы.

Ирина Деточка комментирует...

Елена,
если убрать из последнего коммента Ваш безполезный, с точки зрения наличия в нем информации, праведный гнев в мой адрес, и общие бла-бла по поводу "конечно, надо, кто спорит", я так и не получила ответ на свой вопрос - КАКИЕ еще существуют методы измерения эффективности и результативности обучения персонала в компаниях, КРОМЕ каскадирования стратегических целей и прописывания профилей компетенций - метода, который я, например, знаю и проверяла на практике?

Меня интересуют конкретные примеры и практика - КАК? Кто и как это ДЕЛАЕТ, если по-Вашему никому не надо доказывать, что это делать НУЖНО? Пока же кроме личных оценок "вот это "хорошо", а вот это - "плохо", и игр словами "ах, вот это - эффектно!", "ах, а вот это - эффективно!", ни Вы, ни кто-либо еще на это вопрос внятно не ответил.

Корпоративная культура, это, конечно, да, это ОЧЕНЬ важно, особенно с точки зрения прописывания профилей компетенций. Я с 1992 года работаю в бизнесе и, уверяю Вас, роль корпоративной культуры понимаю не хуже, чем Вы. Но давайте, все-таки, по-конкретнее...

Надеюсь на конструктивный ответ, если это вообще возможно, а не на очередной взрыв комплексов и поток общих рассуждений с Вашей стороны.

Elena Lokteva комментирует...

Ирина,
не вижу смысла продолжать. Боюсь даже предположить, до чего мы с Вами еще договоримся, если будем продолжать в том же духе.
По матрешкам!

Ирина Деточка комментирует...

Елена,
тем не менее - когда Вас или у Ваших знакомых появятся-таки конкретные примеры и практика по оценке результативности и эффективности корпоративного обучения(с использованием профилей компетенций, или без них) - я и мой скромный 17-летний опыт в бизнесе всегда к Вашим услугам, можете располагать мной в полной мере.

Алексей Корольков комментирует...

Ирина, по секрету - код системы WebTutor открыт, что впрочем не означает что его можно взять и перепродать. Но посмотреть на него можно.

Ирина Деточка комментирует...

Алексей, спасибо!

Но в том-то и разница между "продуктом", например, ПО, и "услугой", тем же консультационным проектом, что без Вашего разрешения тиражировать ПО никому нельзя, и Вы имеете инструменты для осуществления такого контроля (в том числе и - не больше трех курсов в демо-версии WebTutor), а вот что касается проекта, то у нас таких инструментов контроля нет.

Вы говорите, что для Вас e-learning - это бизнес. И для нас это тоже бизнес. И если мы можем описать стратегию с помощью ССП и прописать профили компетенций, мы и предлагаем это как услугу. За деньги.

Вы несколькими постами ниже привели хороший пример описания компетенций для фармацевтов и сами сказали, что при наличии таких прописанных компетенций "разработка контента курсов для развития существенно облегчается". Я бы добавила - не только разработка, но и оценка эффективности обучения. Об этом, собственно, и была вся серия моих комментариев под Вашим постом. Буду рада, если в итоге, отделы ДО все-таки начнут потихоньку двигаться в этом направлении, а не останавливаться на мысли, что посчитать эффективность - это нереально сложно.

А мы, положив коллосальное количество времени и сил на такие проекты, сейчас уже ушли совершенно в другую сторону - к компьютерным играм и симуляциям :))) Где всех вас и ждем! :)