Кейс по оценке эффективности очного и дистанционного обучения

Это уже третий кейс в блоге (если правильно насчитал). Первые два:

  1. Кейс по эффективности вебинара
  2. Как управлять текучестью персонала с помощью Webtutor (кейс)

Буду создавать кейсотеку.
Сегодняшний кейс абсолютно реальный, но не спрашивайте название банка. Точно только то, что дистанционной платформой был Webtutor
Кейс может показаться простым. Он в отличие от этого поста (см. Кейс по HR-аналитике без цифр (на понимание)), во первых, на определение критерия (это про цифры), а, во вторых, на понимание: важным элементом анализа является корректная интерпретация полученных результатов.
Удачи в решении.

Кейс

В банке прошло одновременно очное и дистанционное обучение по продукту: 13 менеджеров отправили обучаться в подмосковный пансионат, 24 менеджера учились дистанционно.
После обучения спустя две недели все прошли дистанционное тестирование.
Результаты показали следующие:
  • В группе "очников" 3 студента ответили на 100 % правильных ответов по тесту, 7 - 90 % правильно, 2  - 80 %, 1 - 70 %.
  • В группе "дистанционщиков" такие результаты: 2 студента - 100 % правильных ответов, 6 - 90 %, 8 - 80 %, 4 - 70 %, 3 - 60 %, 1 - 50 % правильных ответов.

Вопрос к кейсу:

  1. Представьте данные в виде таблицы;
  2. Визуализируйте данные (каким типом диаграммы воспользуетесь)
  3. Определите статистический критерий для решения
  4. Ответьте на вопрос: можно ли по полученным результатам утверждать, что очное обучение эффективней дистанционного (или наоборот, или они не отличаются по эффективности)

Комментарии

Виталий Фуфаев написал(а)…
Критерий для сравнения - средний показатель сдачи теста. Визуализация с помощью гистограммы.

Считаю, что стоит оценивать большее количество респондентов, по текущим результатам сложно однозначно сделать вывод, даже не смотря на то что он очевиден. =)
Эдуард Бабушкин написал(а)…
я здесь не буду давать ответы, чтобы не раскрывать правильный ответ)
Но, Виталий, подумайте над таким вопросом: как сделать бОльшее количество респондентов, если это специалисты банка по данному направлению?
И ... поделитесь очевидным выводом) в чем он?
Эдуард Бабушкин написал(а)…
поправка: я имел ввиду - это ВСЕ специалисты банка по данному направлению
Виталий Фуфаев написал(а)…
Я тогда тоже переформулирую свой ответ - вопрос в эффективности именно этого очного тренинга и этого курса именно в этой компании? Тогда бесспорно можно делать вывод на основе имеющихся данных, НО и он может оказаться невалидным, если хотя бы чуток расширить рамки.

Если вдаваться в глубину, я бы сделал еще более долгосрочный анализ результатов. Через месяц, через 2. Может это поможет курсу отыграть свои проценты. За 2 недели во мне, например, сохранились бы эмоции после хорошего тренинга.

А мой очевидный вывод, как обидно это признавать, это несомненное преимущество очного обучения. Именно поэтому считаю свою работу в области e-learning нацеленной не на превосходство над очным обучением, а предоставлением ДОСТАТОЧНОГО уровня знаний в КРАТЧАЙШИЕ сроки и с МИНИМАЛЬНЫМИ затратами($$$).
Эдуард Бабушкин написал(а)…
Виталий, я Вас приглашал на свой семинар по Аналитике, вы проигнорировали))))
не буду здесь рассказывать правильного решения)

Анонимный написал(а)…
Можно построить распределение по двум выборкам: очники и ДО. Только замер в примере один - этого недостаточно, чтобы сравнивать эффективность (критерий, видимо, успешное выполнение теста) - нужно больше.
Эдуард Бабушкин написал(а)…
Анонимный
каким критерием померите?
И почему недостаточно одного замера?
Виктор Мордвинов написал(а)…
Данные выборки не позволяют сделать объективное сравнение. Во-первых, слишком малое количество респондентов. Во-вторых, совершенно не учитывается начальный уровень подготовки менеджеров перед началом обучения, а это весьма существенный фактор. Если был бы проведен пре-тест перед началом обучения в обеих группах, этот фактор можно было бы учесть. Может быть в дистанционной группе приращение уровня знаний было бы более высоким? В-третьих, каково качество дистанционного курса? Может быть, это просто текстовый формат, а необходим полноценный курс+вебинар. По моему мнению, любой статистический метод, который будет применяться в условиях данной задачи, не позволит выявить основные факторы и показать реальную картину.
Эдуард, когда мы с Вами вели дискуссию на LinkedIn, я говорил Вам, что мы планируем через год оценить результаты перевода обучения линейных руководителей на дистанционный формат. Именно через год у нас будет достаточная выборка из 500 респондентов, вот тогда и будет актуальным статистический анализ.
Эдуард Бабушкин написал(а)…
Виктор, Вам вопрос как и Виталию: а что делать, если это ВСЕ специалисты данного направления?
больше просто нет
Или по другому: каков размер выборки будет ДОСТАТОЧЕН?
Эдуард Бабушкин написал(а)…
повторяю вопросы
1. Представьте данные в виде таблицы;
2. Визуализируйте данные (каким типом диаграммы воспользуетесь)
3. Определите статистический критерий для решения
4. Ответьте на вопрос: можно ли по полученным результатам утверждать, что очное обучение эффективней дистанционного (или наоборот, или они не отличаются по эффективности)
Виктор Мордвинов написал(а)…
1. Данные представлены в виде таблицы.
2. Визуализация данных в виде двух графиков (волнистых). Данные не противоречат нормальному закону.
3. Статистический критерий для решения – среднее значение результатов итогового тестирования (для очного обучения – 8.92, для дистанционного – 7.88). Более корректным представляется использование медианы заданной выборки результатов (для очного обучения – 9, для дистанционного – 8).
4. На основании применения двухвыборочного t-критерия Стьюдента (0.0059<0.05) можно сделать вывод о большей эффективности очного обучения по сравнению с дистанционным.

Этот вывод сделан с точки зрения статистического анализа. Однако проведенный анализ совершенно не учитывает ряд важных факторов, о которых я упомянул в своем предыдущем сообщении. Поэтому вывод получается достаточно искаженным. С методической точки зрения было бы более правильным использовать сравнительный анализ начального и конечного уровня знаний в очной и дистанционной группе (степень приращения знаний) и провести проверку гипотезы на основе применения парного t-критерия Стьюдента.
Эдуард Бабушкин написал(а)…
все таки не T критерий Стюдента)
вы же сами пишите, что медиана более показательна, а потом применяете Стьюдента
насчет ДО и ПОСЛЕ согласен, но реальный бизнес не всегда это позволяет сделать.
Но это очень ВАЖНО согласен.
А почему? Это ко всем вопрос

Эдуард Бабушкин написал(а)…
да, я бы добавил: применение критерия позволяет сделать выво только о значимости различий, но никак не о том, что очное обучение эффективнее дистанционного
Виктор Мордвинов написал(а)…
А с этим я и не спорю :) Критерий Стьюдена позволяет нам сделать вывод о том, что средние выборок считаются достоверно отличающимися друг от друга. И уже на основании этого заключения принимаем окончательный вывод о том, что полученный результат (по сравнительному значению показателей медианы) является достоверным.
Виктор Мордвинов написал(а)…
Теперь по поводу Вашего вопроса насчет важности измерения ДО и ПОСЛЕ обучения. Если сравниваются две независимые учебные группы, то не учет фактора начального уровня подготовки приведет к искаженным результатам (даже при условии корректного статистического метода исследования). Особенно влияние этого фактора возрастает при сравнении малочисленных групп. В приведенном кейсе как раз именно эта ситуация.
Виктор Мордвинов написал(а)…
Еще хотел бы добавить по поводу качества дистанционного обучения. К сожалению, весьма часто присутствует заблуждение насчет того, что выложили какой-то курс (или несколько курсов) в СДО, и все проблемы по данной тематике решены. И начинают сравнивать эффективность очного и дистанционного обучения. Это чистая профанация. Наша практика перехода с очного обучения на полный дистанционный формат показала, что очное занятие должно заменяться совокупностью не одного, а нескольких дистанционных мероприятий: начальный тест по теме – курс в СДО – вебинар – курс в СДО (при необходимости) – итоговый тест + практические задания (по возможности). Вот в этом случае возможно более менее объективное сравнение очного обучения и ДО. И только при условии достаточной выборки. Например, мы закладываем для сравнительного анализа отчетный период в течение года.
Что-то меня стало много в этой ветке )) Ухожу в тень ))
Эдуард Бабушкин написал(а)…
со всем согласен, Виктор, не критерий Стюдента

Популярные сообщения из этого блога

Какие инструменты необходимы для организации дистанционного обучения

Стандарты электронного обучения

Современные HR тренды (по материалам исследований Deloitte и книги “The 2020 Workplace”)