Websoft

четверг, октября 16, 2014

Кейс по оценке эффективности очного и дистанционного обучения

Это уже третий кейс в блоге (если правильно насчитал). Первые два:

  1. Кейс по эффективности вебинара
  2. Как управлять текучестью персонала с помощью Webtutor (кейс)

Буду создавать кейсотеку.
Сегодняшний кейс абсолютно реальный, но не спрашивайте название банка. Точно только то, что дистанционной платформой был Webtutor
Кейс может показаться простым. Он в отличие от этого поста (см. Кейс по HR-аналитике без цифр (на понимание)), во первых, на определение критерия (это про цифры), а, во вторых, на понимание: важным элементом анализа является корректная интерпретация полученных результатов.
Удачи в решении.

Кейс

В банке прошло одновременно очное и дистанционное обучение по продукту: 13 менеджеров отправили обучаться в подмосковный пансионат, 24 менеджера учились дистанционно.
После обучения спустя две недели все прошли дистанционное тестирование.
Результаты показали следующие:
  • В группе "очников" 3 студента ответили на 100 % правильных ответов по тесту, 7 - 90 % правильно, 2  - 80 %, 1 - 70 %.
  • В группе "дистанционщиков" такие результаты: 2 студента - 100 % правильных ответов, 6 - 90 %, 8 - 80 %, 4 - 70 %, 3 - 60 %, 1 - 50 % правильных ответов.

Вопрос к кейсу:

  1. Представьте данные в виде таблицы;
  2. Визуализируйте данные (каким типом диаграммы воспользуетесь)
  3. Определите статистический критерий для решения
  4. Ответьте на вопрос: можно ли по полученным результатам утверждать, что очное обучение эффективней дистанционного (или наоборот, или они не отличаются по эффективности)

17 комментариев:

Виталий Фуфаев комментирует...

Критерий для сравнения - средний показатель сдачи теста. Визуализация с помощью гистограммы.

Считаю, что стоит оценивать большее количество респондентов, по текущим результатам сложно однозначно сделать вывод, даже не смотря на то что он очевиден. =)

Эдуард Бабушкин комментирует...

я здесь не буду давать ответы, чтобы не раскрывать правильный ответ)
Но, Виталий, подумайте над таким вопросом: как сделать бОльшее количество респондентов, если это специалисты банка по данному направлению?
И ... поделитесь очевидным выводом) в чем он?

Эдуард Бабушкин комментирует...

поправка: я имел ввиду - это ВСЕ специалисты банка по данному направлению

Виталий Фуфаев комментирует...

Я тогда тоже переформулирую свой ответ - вопрос в эффективности именно этого очного тренинга и этого курса именно в этой компании? Тогда бесспорно можно делать вывод на основе имеющихся данных, НО и он может оказаться невалидным, если хотя бы чуток расширить рамки.

Если вдаваться в глубину, я бы сделал еще более долгосрочный анализ результатов. Через месяц, через 2. Может это поможет курсу отыграть свои проценты. За 2 недели во мне, например, сохранились бы эмоции после хорошего тренинга.

А мой очевидный вывод, как обидно это признавать, это несомненное преимущество очного обучения. Именно поэтому считаю свою работу в области e-learning нацеленной не на превосходство над очным обучением, а предоставлением ДОСТАТОЧНОГО уровня знаний в КРАТЧАЙШИЕ сроки и с МИНИМАЛЬНЫМИ затратами($$$).

Эдуард Бабушкин комментирует...

Виталий, я Вас приглашал на свой семинар по Аналитике, вы проигнорировали))))
не буду здесь рассказывать правильного решения)

Анонимный комментирует...

Можно построить распределение по двум выборкам: очники и ДО. Только замер в примере один - этого недостаточно, чтобы сравнивать эффективность (критерий, видимо, успешное выполнение теста) - нужно больше.

Эдуард Бабушкин комментирует...

Анонимный
каким критерием померите?
И почему недостаточно одного замера?

Виктор Мордвинов комментирует...

Данные выборки не позволяют сделать объективное сравнение. Во-первых, слишком малое количество респондентов. Во-вторых, совершенно не учитывается начальный уровень подготовки менеджеров перед началом обучения, а это весьма существенный фактор. Если был бы проведен пре-тест перед началом обучения в обеих группах, этот фактор можно было бы учесть. Может быть в дистанционной группе приращение уровня знаний было бы более высоким? В-третьих, каково качество дистанционного курса? Может быть, это просто текстовый формат, а необходим полноценный курс+вебинар. По моему мнению, любой статистический метод, который будет применяться в условиях данной задачи, не позволит выявить основные факторы и показать реальную картину.
Эдуард, когда мы с Вами вели дискуссию на LinkedIn, я говорил Вам, что мы планируем через год оценить результаты перевода обучения линейных руководителей на дистанционный формат. Именно через год у нас будет достаточная выборка из 500 респондентов, вот тогда и будет актуальным статистический анализ.

Эдуард Бабушкин комментирует...

Виктор, Вам вопрос как и Виталию: а что делать, если это ВСЕ специалисты данного направления?
больше просто нет
Или по другому: каков размер выборки будет ДОСТАТОЧЕН?

Эдуард Бабушкин комментирует...

повторяю вопросы
1. Представьте данные в виде таблицы;
2. Визуализируйте данные (каким типом диаграммы воспользуетесь)
3. Определите статистический критерий для решения
4. Ответьте на вопрос: можно ли по полученным результатам утверждать, что очное обучение эффективней дистанционного (или наоборот, или они не отличаются по эффективности)

Виктор Мордвинов комментирует...

1. Данные представлены в виде таблицы.
2. Визуализация данных в виде двух графиков (волнистых). Данные не противоречат нормальному закону.
3. Статистический критерий для решения – среднее значение результатов итогового тестирования (для очного обучения – 8.92, для дистанционного – 7.88). Более корректным представляется использование медианы заданной выборки результатов (для очного обучения – 9, для дистанционного – 8).
4. На основании применения двухвыборочного t-критерия Стьюдента (0.0059<0.05) можно сделать вывод о большей эффективности очного обучения по сравнению с дистанционным.

Этот вывод сделан с точки зрения статистического анализа. Однако проведенный анализ совершенно не учитывает ряд важных факторов, о которых я упомянул в своем предыдущем сообщении. Поэтому вывод получается достаточно искаженным. С методической точки зрения было бы более правильным использовать сравнительный анализ начального и конечного уровня знаний в очной и дистанционной группе (степень приращения знаний) и провести проверку гипотезы на основе применения парного t-критерия Стьюдента.

Эдуард Бабушкин комментирует...

все таки не T критерий Стюдента)
вы же сами пишите, что медиана более показательна, а потом применяете Стьюдента
насчет ДО и ПОСЛЕ согласен, но реальный бизнес не всегда это позволяет сделать.
Но это очень ВАЖНО согласен.
А почему? Это ко всем вопрос

Эдуард Бабушкин комментирует...

да, я бы добавил: применение критерия позволяет сделать выво только о значимости различий, но никак не о том, что очное обучение эффективнее дистанционного

Виктор Мордвинов комментирует...

А с этим я и не спорю :) Критерий Стьюдена позволяет нам сделать вывод о том, что средние выборок считаются достоверно отличающимися друг от друга. И уже на основании этого заключения принимаем окончательный вывод о том, что полученный результат (по сравнительному значению показателей медианы) является достоверным.

Виктор Мордвинов комментирует...

Теперь по поводу Вашего вопроса насчет важности измерения ДО и ПОСЛЕ обучения. Если сравниваются две независимые учебные группы, то не учет фактора начального уровня подготовки приведет к искаженным результатам (даже при условии корректного статистического метода исследования). Особенно влияние этого фактора возрастает при сравнении малочисленных групп. В приведенном кейсе как раз именно эта ситуация.

Виктор Мордвинов комментирует...

Еще хотел бы добавить по поводу качества дистанционного обучения. К сожалению, весьма часто присутствует заблуждение насчет того, что выложили какой-то курс (или несколько курсов) в СДО, и все проблемы по данной тематике решены. И начинают сравнивать эффективность очного и дистанционного обучения. Это чистая профанация. Наша практика перехода с очного обучения на полный дистанционный формат показала, что очное занятие должно заменяться совокупностью не одного, а нескольких дистанционных мероприятий: начальный тест по теме – курс в СДО – вебинар – курс в СДО (при необходимости) – итоговый тест + практические задания (по возможности). Вот в этом случае возможно более менее объективное сравнение очного обучения и ДО. И только при условии достаточной выборки. Например, мы закладываем для сравнительного анализа отчетный период в течение года.
Что-то меня стало много в этой ветке )) Ухожу в тень ))

Эдуард Бабушкин комментирует...

со всем согласен, Виктор, не критерий Стюдента