Websoft

воскресенье, октября 25, 2015

Практические результаты сравнительного анализа эффективности очного и дистанционного обучения (на основе корпоративной практики обучения)


В начале этого года на этом ресурсе я уже писал об основополагающих подходах и практических шагах по масштабному переводу очного обучения на дистанционный формат 
Но все правильные слова, которые я произносил про этот перевод, ничего не будут стоить, если не провести сравнительный анализ эффективности очного и дистанционного обучения. Минул почти год с начала реализации данной программы, поэтому пришло время для подведения некоторых итогов, а точнее для проведения сравнительного анализа этих видов обучения. Благо, что все данные для этого есть. Длительный период наблюдений (2014-2015 годы), большая выборка обучаемых (свыше 1000 человек), весь спектр оценок в ходе аттестационных мероприятий за целых два года.
Классической формулы расчета эффективности как отношение результата к стоимости (Э=Р/С), ещё никто не отменял, поэтому и берем ее за основу. 


Полтора года назад бизнес поставил задачу значительно сократить расходы на обучение, сохранив при этом требуемый результат – уровень профессиональной подготовки обученных сотрудников, и тем самым способствовать увеличению показателя эффективности обучения.  


Причем этот требуемый уровень задается не в виде красивых и пафосных слов, а виде конкретных уровней обученности (знания и умения), которые реально можно измерить. Для этого и существуют комплексные аттестационные комиссии, которые оценивают этот реальный уровень теоретических знаний и практических умений.  Аттестационная комиссия в составе заказчика (руководителя бизнес-подразделения), преподавателя Учебного центра, менеджера по персоналу оценивает уровень знаний и умений сотрудников, необходимых для выполнения функционала в конкретной должности. Банк тестовых заданий охватывает весь теоретический и практический материал модульного обучения по данной программе. В случае положительной аттестации сотрудник назначается на планируемую должность.

И вот, что мы имеем в результате сравнительного анализа с выборкой более чем из 1000 обучаемых. При переходе с очного обучения на дистанционный формат результат в виде качества подготовки персонала не только не снизился, а даже несколько вырос. К сожалению, из-за требований информационной безопасности я не могу привести абсолютные цифры, а вот относительными цифрами поделюсь. Средний балл итоговой оценки обучаемых вырос на 2,8%, а количество не сдавших аттестацию снизилось на 2,7%. При этом более показательно значение не среднего балла, а медианы, значение которой возросло на 3%. Считаем, что это вполне красноречивые цифры, позволяющие сделать обоснованный вывод: задача бизнеса по достижению результата в виде сохранения уровня профессиональной подготовки при переводе очного обучения на дистанционный формат выполняется достаточно успешно.

А теперь пояснение полученных результатов для любителей статистики. И, конечно же, для профессионала в этой области Эдуарда Бабушкина ))

Выборка – 1350 обученных сотрудников в 2-х группах (очная и дистанционная). В количественном отношении группы практически равны по составу (в дистанционной группе на 2,25% больше).
Оценка аттестуемого сотрудника – средняя оценка 3-х членов комиссии по итогам 10 теоретических и практических заданий.
Шкала оценки – от 2.0 до 5.0 (с точностью до сотых).

Описательные статистики:

Очное
Дистанционное
1st Qu
4.08
4.21
Max
5.00
5.00
Min
2.00
2.00
3rd Qu
4.60
4.70
Median
4.35
4.48
Mean
4.31
4.43

Вот, что получилось в виде диаграммы боксплот:

  
А вот по оценкам плотность распределения получилась такая:


Значения по оси Х представляют собой интервальные значения аттестационных результатов (оценок) от 2.0 до 5.0 с шагом 0.1.
Значения по оси Y представляют собой количество полученных оценок в каждом интервале.

Следующая важная задача статистического исследования состояла в определении достоверности полученных результатов на основе установления значимых различий между двумя выборками. Как бы мне не хотелось подтащить данные распределения под нормальный закон, но, увы, это не удалось. Графический метод показал левостороннюю ассиметрию (коэффициент ассиметрии < 0, эксцесс > 3). Аналитический метод, основанный на проверке нормальности распределения по критерию согласия Пирсона (даже с учетом исключения выбросов на величину 3 сигма) также подтвердил несоответствие данного распределения НЗР (сумма крит.Пирсона превышает в разы критическое значение). Следовательно, не представлялось возможным применить столь удобный критерий Стьюдента.

Поэтому пришлось обратиться к непараметрическим методам.

Применение критерия Манна-Уитни оказалось нецелесообразным по двум причинам: во-первых, размер каждой выборки составляет более 60 значений (причем больше на целый порядок); во-вторых, количество повторяющихся значений в данных больших выборках зашкаливает (более 90% от всей выборки). При наличии такого большого количества совпадений критерий фактически оказывается непригодным для нашего исследования.
Применение критерия Крускала-Уоллиса оказалось нецелесообразным по причине того, что данный критерий предназначен для оценки различий между тремя и более выборками одновременно. 

Выбор пал на критерий Колмогорова-Смирнова. Применение критерия возможно для сопоставления двух распределений: одного эмпирического распределения с другим эмпирическим распределением. Критерий позволяет найти точку, в которой сумма накопленных расхождений между двумя распределениями является наибольшей, и оценить достоверность этого расхождения. Если различия между двумя распределениями существенны, то в какой-то момент разность накопленных частот достигнет критического значения, что служит основанием признать различия статистически достоверными. В формулу критерия λ включается эта разность. Чем больше эмпирическое значение λ, тем более существенны различия.
При сопоставлении двух эмпирических распределений был произведен расчет критерия λ, который оказался равен 2.79.


Полученное эмпирическое значение λэмп (2.79) находится в зоне значимости различий. Тем самым это позволяет сделать вывод о достоверности полученных результатов.

8 комментариев:

Alexey Baranov комментирует...

А не сыграло ли на повышение успешности аттестаций то, что в связи с переходом на дистанционный формат у аттестуемых появилась возможность нечестно её проходить: допустим проходить коллективно или же кто-то один проходит за всех, ну и т.д..

Виктор Мордвинов комментирует...

Алексей, итоговая аттестация проходит в в удаленном режиме в формате видеоконференции (с использованием ПО Webex). Аттестация строго индивидуальная, причем в реальном масштабе времени. Члены аттестационной комиссии видят и слышат аттестуемого сотрудника так сказать вживую, поэтому все ухищрения в виде кто-то за кого-то, коллективно и т.д. абсолютно исключены.

Алексей Мельников комментирует...

Виктор, добрый день! А можно узнать итоговое значение эффективности в обоих случаях?

Виктор Мордвинов комментирует...

Мы сравниваем эффективность групп очного и дистанционного обучения по критерию "результат/стоимость", то есть используем классическую формулу Э=Р/С. Требования информационной безопасности еще никто не отменял, поэтому сами понимаете, что абсолютные цифры привести не могу, ограничусь только относительными показателями.
По каждому виду обучения в качестве результата принимаем уровень сдачи итоговой аттестации (знания+умения). В своем основном сообщении я показал, что при переводе очного обучения на дистанционный формат результат практически не изменился (вырос в среднем на 3%). Так что будем считать Роо ≈ Рдо. При этом стоимость обучения (затраты на содержание Учебного центра, командировочные расходы и т.п.) при переходе на дистанционный формат снизилась в среднем в 3 раза (Соо/Сдо ≈ 3). Подставляем полученные данные в вышеприведенную классическую формулу, и получаем, что эффективность обучения при переводе очного обучения на дистанционный формат выросла в среднем в 3 раза.

Эдуард Бабушкин комментирует...

не годится

Виктор Мордвинов комментирует...

Эдуард, что именно не годится? ))

Эдуард Бабушкин комментирует...
Этот комментарий был удален автором.
Алексей Мельников комментирует...

Виктор, добрый день!

Большое спасибо - я ответ на свой вопрос получил.