Websoft

воскресенье, октября 25, 2015

Практические результаты сравнительного анализа эффективности очного и дистанционного обучения (на основе корпоративной практики обучения)


В начале этого года на этом ресурсе я уже писал об основополагающих подходах и практических шагах по масштабному переводу очного обучения на дистанционный формат 
Но все правильные слова, которые я произносил про этот перевод, ничего не будут стоить, если не провести сравнительный анализ эффективности очного и дистанционного обучения. Минул почти год с начала реализации данной программы, поэтому пришло время для подведения некоторых итогов, а точнее для проведения сравнительного анализа этих видов обучения. Благо, что все данные для этого есть. Длительный период наблюдений (2014-2015 годы), большая выборка обучаемых (свыше 1000 человек), весь спектр оценок в ходе аттестационных мероприятий за целых два года.
Классической формулы расчета эффективности как отношение результата к стоимости (Э=Р/С), ещё никто не отменял, поэтому и берем ее за основу. 


Полтора года назад бизнес поставил задачу значительно сократить расходы на обучение, сохранив при этом требуемый результат – уровень профессиональной подготовки обученных сотрудников, и тем самым способствовать увеличению показателя эффективности обучения.  


Причем этот требуемый уровень задается не в виде красивых и пафосных слов, а виде конкретных уровней обученности (знания и умения), которые реально можно измерить. Для этого и существуют комплексные аттестационные комиссии, которые оценивают этот реальный уровень теоретических знаний и практических умений.  Аттестационная комиссия в составе заказчика (руководителя бизнес-подразделения), преподавателя Учебного центра, менеджера по персоналу оценивает уровень знаний и умений сотрудников, необходимых для выполнения функционала в конкретной должности. Банк тестовых заданий охватывает весь теоретический и практический материал модульного обучения по данной программе. В случае положительной аттестации сотрудник назначается на планируемую должность.

И вот, что мы имеем в результате сравнительного анализа с выборкой более чем из 1000 обучаемых. При переходе с очного обучения на дистанционный формат результат в виде качества подготовки персонала не только не снизился, а даже несколько вырос. К сожалению, из-за требований информационной безопасности я не могу привести абсолютные цифры, а вот относительными цифрами поделюсь. Средний балл итоговой оценки обучаемых вырос на 2,8%, а количество не сдавших аттестацию снизилось на 2,7%. При этом более показательно значение не среднего балла, а медианы, значение которой возросло на 3%. Считаем, что это вполне красноречивые цифры, позволяющие сделать обоснованный вывод: задача бизнеса по достижению результата в виде сохранения уровня профессиональной подготовки при переводе очного обучения на дистанционный формат выполняется достаточно успешно.

А теперь пояснение полученных результатов для любителей статистики. И, конечно же, для профессионала в этой области Эдуарда Бабушкина ))

Выборка – 1350 обученных сотрудников в 2-х группах (очная и дистанционная). В количественном отношении группы практически равны по составу (в дистанционной группе на 2,25% больше).
Оценка аттестуемого сотрудника – средняя оценка 3-х членов комиссии по итогам 10 теоретических и практических заданий.
Шкала оценки – от 2.0 до 5.0 (с точностью до сотых).

Описательные статистики:

Очное
Дистанционное
1st Qu
4.08
4.21
Max
5.00
5.00
Min
2.00
2.00
3rd Qu
4.60
4.70
Median
4.35
4.48
Mean
4.31
4.43

Вот, что получилось в виде диаграммы боксплот:

  
А вот по оценкам плотность распределения получилась такая:


Значения по оси Х представляют собой интервальные значения аттестационных результатов (оценок) от 2.0 до 5.0 с шагом 0.1.
Значения по оси Y представляют собой количество полученных оценок в каждом интервале.

Следующая важная задача статистического исследования состояла в определении достоверности полученных результатов на основе установления значимых различий между двумя выборками. Как бы мне не хотелось подтащить данные распределения под нормальный закон, но, увы, это не удалось. Графический метод показал левостороннюю ассиметрию (коэффициент ассиметрии < 0, эксцесс > 3). Аналитический метод, основанный на проверке нормальности распределения по критерию согласия Пирсона (даже с учетом исключения выбросов на величину 3 сигма) также подтвердил несоответствие данного распределения НЗР (сумма крит.Пирсона превышает в разы критическое значение). Следовательно, не представлялось возможным применить столь удобный критерий Стьюдента.

Поэтому пришлось обратиться к непараметрическим методам.

Применение критерия Манна-Уитни оказалось нецелесообразным по двум причинам: во-первых, размер каждой выборки составляет более 60 значений (причем больше на целый порядок); во-вторых, количество повторяющихся значений в данных больших выборках зашкаливает (более 90% от всей выборки). При наличии такого большого количества совпадений критерий фактически оказывается непригодным для нашего исследования.
Применение критерия Крускала-Уоллиса оказалось нецелесообразным по причине того, что данный критерий предназначен для оценки различий между тремя и более выборками одновременно. 

Выбор пал на критерий Колмогорова-Смирнова. Применение критерия возможно для сопоставления двух распределений: одного эмпирического распределения с другим эмпирическим распределением. Критерий позволяет найти точку, в которой сумма накопленных расхождений между двумя распределениями является наибольшей, и оценить достоверность этого расхождения. Если различия между двумя распределениями существенны, то в какой-то момент разность накопленных частот достигнет критического значения, что служит основанием признать различия статистически достоверными. В формулу критерия λ включается эта разность. Чем больше эмпирическое значение λ, тем более существенны различия.
При сопоставлении двух эмпирических распределений был произведен расчет критерия λ, который оказался равен 2.79.


Полученное эмпирическое значение λэмп (2.79) находится в зоне значимости различий. Тем самым это позволяет сделать вывод о достоверности полученных результатов.

Читать дальше......

e-Learning технологии: Анкетирование заказчиков - "ЗА" и "ПРОТИВ".

Когда разработка электронных курсов поставлена на поток, всегда хочется оптимизировать процесс с целью его ускорения. Если смотреть на цикл создания любого курса, то можно условно разделить на этапы работы с заказчиком/экспертом и самостоятельную работу.

За собственную деятельность нести ответственность "проще" - сроки зависят только от нас и здесь можно прогнозировать, рассчитывать и оптимизировать, четко представляя себе картину.

Но как упорядочить работу с заказчиком?

Самый простой вариант - всю ответственность за сбор информации перенести на него: "Дайте пакет материалов, а мы уж его обработаем, применим педдизайн и будет вам счастье!" или "Дайте тему, кого учить, и мы сами все найдем, соберем, обработаем, применим педдизайн и будет вам счастье!".

Если же заказчик не хочет ни самостоятельно собирать материал, ни доверяет компетенции "сборщика" разработчика, а ожидает все же взаимодействия, то лучшим вариантов окажется Анкета! Ответил на перечень вопросов и все стало понятным: и заказчику хорошо (все-то заполнить стандартный запрос) и разработчикам (понятно, что делать, и ответственность за ответы в анкете опять же на заказчике - что попросил, то и получил - какие обиды?). И главное - всем удобно! не надо тратить время на встречи, уточнения, совместную работу - время-деньги.

Это я, конечно, утрирую :).

Но, ведь анкета - дело хорошее, но скорее для начального этапа, для подготовки к установочной встречи с заказчиком. Качество анкетирования зависит от качества вопросов, из которых состоит анкета: не стоит забывать и про то, что вопросы при снятии потребности должны быть широкими, направленными на поиск проблемы и пути решения с помощью обучения (в процессе опроса заказчик, в идеальном результате, должен понять для себя - возможно ли решить его проблему с помощью электронного обучения и обучения, в частности, или нет). Вопрос не должны содержать в себе уже четко определенную структурную траекторию, так как она может уже на входе увести человека от решения его проблемы в сторону "сделать курс по алгоритму разработчика". Составить входную анкету не так просто, на мой взгляд, особенно если осознанно "выкидывать" заказчика из этапа обсуждения.

Меня часто новые наши заказчики просят дать шаблон или анкету, чтобы они подготовили ответы к нашей установочной встрече. На что я всегда отвечаю одинаково - не надо продумывать цели и задачи обучения заранее, мы можем уйти в сторону от решения ваших задач, а свернуть с этого пути будет крайне сложно. Давайте сначала вы расскажите о себе, о своем проекте, о своих трудностях и вместе подумаем о решении.

Сколько раз приходилось менять первичную цель на рабочую! И сколько раз приходилось включать аргументацию и выводить людей на другие грани мышления. Тогда зачем тратить время и силы на двойную работу? Тем более от своей "красивой мысли" так сложно отказываться!

На мой взгляд, первую установочную встречу - обязательно личную (пусть по скайпу или по телефону, необязательно глаза-в глаза) - отменять или заменять анкетой нельзя!

Анкета хороша и даже обязательна, когда с заказчиком/экспертом/автором работаешь давно и уже налажен процесс обновления или актуализации разработанных курсов, но там анкета уже опирается на опыт заказчика, да и вопросы там на проверку и вывод человека в плоскость необходимости вносить изменения. Здесь также важно продумать вопросы и их последовательность!

Что касается меня, как заказчика, то, конечно, есть соблазн ответить просто на вопросы запроса (один такой у меня уже есть в почте), чтобы по результату сделали то, что нужно мне))). Ах, если бы, ах если бы... все так было просто...

Ну, что ж... заполним, посмотрим?

Всегда Ваша,
Денисова Елена,

Читать дальше......

воскресенье, октября 18, 2015

Управление знаниями в организации: построить "кольцо" жизни знания недостаточно!

Уже стало общеизвестным и классическим понятие цикла жизни знания или просто знания - это пресловутое "колесо" встречается по-всюду.

Выстроить весь цикл жизни знания - уже достижение. В настоящее время мало кто может этим похвастаться.

Я думаю, что сам цикл воспроизвести можно, если выполнить указанные мною ранее условия: Наличие четкого понимания и принятия организацией стратегии или целей, отсутствие жестких связей и возможность принимать решения отдельным единицам организации, наличие возможностей изменений и потребность в изменениях или улучшениях, полнота и даже избыточность информации в эфире и ее разнообразие без жестких входных фильтров. Более того, данную модель я опробовала сама и реализовала. Так как организация не входила в число "гигантов", то и влияние данной модели довольно быстро распространилось на всю организацию: культура от "быстрей сделаем хоть что-то и как-то" до "Какова наша цель? Как нам ее достичь? Побежали! Какой опыт извлечем, чтобы двигаться дальше?"

Да, есть определенные сложности внедрения и они целиком зависят от уровня развития организации (по спиральной динамике или по методологии доктора И. Адизеса, не важно), от ее культуры, от внутренних политических и других особенностей. Но если задаться целью и получить 200% вовлечение руководства, все можно скорректировать и даже изменить (а в изменения то как раз и нужно завлечь руководство).

Но этого мало!

Выстроенное и отлаженное "потом и кровью" за многие годы кропотливого, методичного и последовательного труда, принятое и признанное может быть легко и быстро разрушено простой сменой собственника, руководства или нарушением взаимосвязей системы управления знаниями.  К сожалению, то, что сделано единожды не остается в состоянии стабильности вечно. Без поддержания и постоянной работы над улучшениями система работать не будет: нужно постоянное развитие и поддержка. Все когда-нибудь разрушается. 

Модель "кольцо" - статическая и тупиковая - закольцованная. Правильный выбор - это спираль, когда развитие не имеет конца, а влияние не уменьшается, а увеличивается. Весь фокус в том, как постоянно поддерживать развитие и не дать полученному результату сойти на нет.

Просто мысли.
Денисова Елена.


Читать дальше......

воскресенье, октября 11, 2015

E-learning технологии: снятие или формирование потребности в обучении. Бизнес-партнерство в e-learning.

На саммитах и конференциях разработчиков электронных курсов обсуждается и продвигается множество интересных, простых, сложных, инновационных и неочень, инструментов разработки. Говорится о педдизайне, сторителлинге, визуализации, геймификации, видео...

Все это, конечно, важно и нужно! Особенно, когда бюджет позволяет. Радует и тот факт, что начали обращать внимание на работу с экспертами - как с ними нужно выстраивать отношения, и нужно ли. Что при разработке электронных курсов необходимо вовлекать эксперта и привлекать, по возможности, на всем жизненном цикле проекта. И это здорово! (Хотя кто-то до сих пор предпочитает получить пакет документов и на этом закончить общение).

При разработке хорошего контента для курса привлекают не всегда одного эксперта, но не всегда он является и заказчиком электронного курса. К сожалению, в большинстве случаев цели заказчика-эксперта-обучаемого редко сводят к единому вектору (единому пониманию цели).

Качественный же результат возможен только при соблюдении этого условия. Что же мешает?

Если говорить про обучаемого (а он находится на конце логической цепочки выстраивания цели), то чаще всего цель формулируется исходя из учебных целей "преподавателя" - "научиться", "осознать", "узнать" и прочие схожие варианты, говорящие о компетенции обучаться, но никак не делать после обучения конкретные действия. Это ошибка номер 1. Нужно понимать, что должно качественно измениться в поведении обучаемого. 

Но, чтобы узнать, что должно поменять в действиях обучаемого (если говорить про рабочие процессы), то нужно знать, кому, собственно нужны изменения в процессах обучаемого, кроме самого обучаемого?

В организациях (не важно, производство это или "ретейл") за обучение и развитие отвечает традиционно HR-управление или даже выделенное подразделение по обучению и развитию. Проблема же в том, что чаще всего данное подразделение не знает кого, чему, как и собственно говоря, зачем обучать и развивать. Большинство работает по принципу реакции - "бизнес попросил - мы обучили". В итоге, результат почти нулевой.

"Бизнес" - не абстрактная единица, как сейчас удобно говорить и манипулировать, мол, так хотел "бизнес". В этом случае я всегда спрашиваю: "а у вашего бизнеса есть лицо, имя-фамилия, должность?". И у него есть конкретные потребности в обучении и развитии персонала. Другой вопрос, что чаще всего заказчики сами не вполне понимают, как нужно развивать персонала.

Но ведь именно для этого и создается специально выделенное подразделение, разве не так?
А получается, что сами "обученцы" не умеют вставать на позицию эксперта и разговаривать с "бизнесом" как с внутренним клиентом! А именно - грамотно снимать потребность в обучении и развитии, а также выстраивать внутреннюю стратегию обучения и развития, согласуясь с общей стратегией организации.

Это и понятно, ведь кроме инструментария мы ничего и знать не хотим! В электронном обучении данная проблема, на мой взгляд, стоит более остро, так как требований к результативности электронного обучения больше, и ожидания выше. Тем более, по затратам e-learning готов поспорить с очным.

Пока e-learning специалист не потрудится хотя бы в общих чертах изучить специфику организации - менеджмент, стратегию, ее положение на внешнем рынке и т.п., пока не научится говорить с заказчиками как с партнерами, а не на позиции рядовых исполнителей, то всем этим инструментам e-learning - геймификации, сторителлинга, визуализации, мультипликации и даже педдизайна - грош цена! Если e-learning не решает "бизнес-задач", а только преследует свои собственные какие-то, непонятные "бизнесу" цели, то и оставаться ему постоянно на правах "расходной статьи".

В размышлениях,
Денисова Елена.

Читать дальше......

понедельник, октября 05, 2015

Личностный рост: если этого пока нет, это еще не значит, что никому не нужно: просто они еще не знают, что так можно.

Совсем не новость рассуждение на тему "ментальных ловушек" или каких-либо ограничений и рамок, которые мы ставим сами себе. Остальную часть преград нам ставит общество - родители, учителя, руководители, коллеги и т.д.

Но успеха добиваются лишь те, кто все же пробует другие нестандартные, альтернативные решения, которые в случае успеха оказываются "простыми" и "всем понятными", даже "очевидными". Парадокс заключается в том, что изначально это вовсе не казалось очевидным.

Конечно, я вовсе не считаю, что каждую идею нужно проверять на прочность и выполнимость. Достаточно смоделировать ситуацию, создать модель процесса, продумав всю цепочку причин и следствий.

Если модель кажется стройной, стоит попробовать ее реализовать в пилотном небольшом проекте. 

Когда есть уже понимание, что должно быть в идеале, то уже не кажется нереальным. Правда, и тогда можно услышать множество советов и отзывов, как "так никто не делает", "это красиво, но утопично", "слишком просто, чтобы было правдой" и тому подобное. 

И тогда-то и не стоит обращать на ограничения, а просто брать и делать! Возможно, сразу не все получится, но так и должно быть в процессе поиска лучшего решения - отсекая лишнее и громоздкое получаешь в итоге искомое, когда окружающие в изумлении спрашивают: "А что? так разве можно было?"

Просто размышляя,
Денисова Елена.
https://www.facebook.com/profile.php?id=100004487832154
http://blogofdenisova.blogspot.ru

Читать дальше......

четверг, октября 01, 2015

Условия развертывания спирали организационного знания

Начну сегодняшний пост цитатой из книги И.Нонака и Х.Такеучи "Компания - создатель знания", М. 2003:

"Задача организации в процессе создания организационного знания состоит не только в непосредственном создании и накоплении индивидуального знания, но и в обеспечении необходимых для групповой деятельности условий".

И это, действительно так. Мало собрать, формализовать и сохранить знания, необходимо сделать так, чтобы спираль знания была "живой" и "динамической", а без взаимодействия участников создания знания это сделать невозможно.

Как же приводится в действие спираль знания? Сегодня я попытаюсь сверить теорию И.Нонака, Х.Такеучи (основанную, безусловно, на реальной практике) с собственной практикой - все ли было учтено, и на что стоит обратить внимание в дальнейшем. Приглашаю и вас проследовать за моих ходом мыслей - буду благодарна обратной связи!

Первое условие - Намерение.

По сути, это двигатель организации, называемый целью, которая обычно принимает форму стратегии. 

Если рассматривать стратегию в контексте управления знаниями, то она должна быть понятна и однозначна не только высшему эшелону компании, но и каждому сотруднику в разрезе собственной значимости при выполнении рабочих функций по отношению к общей цели организации. Намерение - это стратегический вектор движения к общей цели организации, где каждый ее участник выполняет важную и необходимую роль вне зависимости от управленческого уровня. 

Второе условие - Автономия или самостоятельность.

Данное условия говорит о возможности самостоятельного принятия решения индивида в рамках собственной деятельности. Это показатель осознанности собственных действий, когда человек использует необходимые знания при наступлении тех или иных условий, а не только по требованию руководства. Данное условие возможно только при выполнении первого условия, когда индивид осознает и принимает значимость своей деятельности в общем процессе и непосредственное влияние на конечный результат, а значит стремится к лучшим показателям своей работы, используя имеющиеся знания или находясь в поиске новых знаний.

Третье условие - Созидательный хаос или Потребность в изменениях или улучшениях.

По сути. это осознанный выход из зоны комфорта. Движение в сторону создания нового знания возможно только при определении проблематики  - что нужно улучшить или изменить для достижения лучшего результата процесса или достижения общей цели. Если все устраивает, менять ничего не нужно, то и поиск новых решений не ведется. Но такой вариант практически невозможен. Все изменяется и идеальных решений не существует - есть всегда что-то, что можно оптимизировать, изменить или улучшить. Организация должна осознанно двигаться в сторону постоянных изменений и улучшений в зависимости от окружающей компанию среды. Конечно, вовсе необязательно, что это всегда крупные изменения.

Четвертое условие - Избыточность информации.

Имеется в виду, что при решении задачи важно получать даже больше информации, чем кажется на первый взгляд: лучше отсечь потом "ненужное", чем принимать решения, основанные на неполной информации, однобоких выводов и без учета всех условий. Кроме того, избыточность информации определяется степенью осведомленности сотрудников организации, что помогает быть в курсе задач, над которыми работают другие подразделения или команды - в случае необходимости полученный опыт может быть учтен в других процессах.

Пятое условие - Разнообразие информации.

Принцип данного условия говорит о том. что сотрудники должны иметь возможность знакомиться и использовать не только информацию и знания непосредственной функции, но и смежных подразделений или других подразделений. Это помогает видеть процесс в целом, а не только свой "небольшой кусочек" и понимать принципы взаимодействия или действия общего процесса. 

Если соблюдены все условия, то спираль знания начнет и будет работать. Другой вопрос, что для реализации данных процессов необходимо понимать, что они запускают, фактически, необратимый процесс изменений, на которые придется оперативно и адекватно реагировать.

Всегда Ваша,
Денисова Елена,

Читать дальше......