Websoft

вторник, декабря 23, 2014

Оценка удовлетворенностью электронным курсом (предложение)

В продолжение баталий и битв
Видали вот такую фигню в переводчике гугля? Понимаете, что на основе этих рожиц Гугль улучшает сервис?
Оценка удовлетворенностью электронным курсом (предложение)
Кто нибудь у себя в курсах такую хрень ставил?
Насколько я помню, Михаил Протасов говорил (вебинар Практический опыт автоматизации HR-процессов в компании Enter с помощью системы WebTutor), что у них в Энтере разработчикам заложено в KPI получать высокие оценки по оценке курсов.
Предлагаю технологию того, как можно научиться зряче управлять процессом получения высоких оценок обратной связи по курсу.
От вас нужен лог прохождения курса участниками
Лог этот выгружается из курса формата SCORM или TinCan.
Я не знаю, как он выглядит этот лог (я не специалист по SCORM or TinCan)), но подозреваю (по практике работы с другими системами), что это TXT файл, в котором есть переменные
  • session или sessionID
  • userID или типа того
  • time
  • duration
  • response (это как раз про то, как оценил курс)
  • и еще какие нибудь переменные
Я обращаюсь к спецам Вебсофта: я правильно понимаю, что такое в принципе возможно выгрузить из SCORM?
Если вы выгрузите это из SCORM / TinCan
Я могу вам посчитать, какие параметры курса влияют на оценку удовлетворенности курсом.
Например,
  • если собрать инфо по курсам с разной продолжительностью / кол-вом слайдов, мы ответим на вопрос, какое оптимальное время продолжительности обучения с т.з. удовлетворенности курсом. 
  • Мы можем понять, влияет ли факт того, что студент прошел весь курс без перерывов или разбивал его на отрезки, на удовлетворенность курсом.
  • Можно посмотреть связь между удовлетворенностью курсом и характеристиками самих обучаемых (если мы знаем, кто стоит за userID
  • мы можем оценить влияние отдельных решений курса на восприятие курса в целом (если это решение как то выделено в курсе - например, влияет на оценку курса в целом, то, как отвечал на проверочные вопросы обучаемый)
  • ну и т.п...
Я не обсуждаю здесь, насколько это важно бизнесу или нет. Я не обсуждаю целесообразность этой затеи.
Что вы, собственно, можете получить в итоге: в итоге вы понимать, какие факторы позитивно / негативно влияют на оценку удовлетворенностью курсом, создавать курсы с учетом этих знаний и управлять удовлетворенностью курсами, собственно.
Но если вам интересно посмотреть, что получится, пишите edvb()websoft.ru - будем пообсуждать

14 комментариев:

Sergey Snegirev (BranchTrack.com) комментирует...

Питер Соренсон (Quizzicle) предлагает такую расширенную аналитику через плагин для Lectora (соответственно, для курсов на КурсЛабе заработает с некоторым допиливанием) - http://quizzicle.com/MainSite2010/solutions/LiMS/WHATDO/

Кейсы у них разные: и про удовлетворенность, и про эффективность, и про предсказание результатов обучения.

Казалось бы, почти все можно реализовать через классическую веб-аналитику (от ГА и Метрики до необлачных решений), но в ДО есть отдельные интересные штуки, на которые можно смотреть. Например, время, проведенное на странице (слайде) значит очень мало в отрыве от содержания слайда. Поэтому Кроникл считает вместо этого кол-во слов на слайде и показывает скорость прочтения страницы.

В общем, кто интересуется темой аналитики (а интересоваться должны все! :)) - посмотрите.

Эдуард Бабушкин комментирует...

ну да, оно самое
Но по большому счету Вебтютор все равно содержит в себе все данные, а эта штука только инструмент анализа и визуализации.
поправьте если не прав, Сергей
мы всегда можем выгрузить данные в тхт или scv и провести анализ там, где нам интересно
вопрос в том, скорее, что наши спецы пока не понимают целей такого анализа

Эдуард Бабушкин комментирует...

и конечно, гораздо приятней было бы работать с прогнозами эффективности работников по их учебной активности
но это уже следующий уровень - надо готовить HR к тому, что по логам можно предсказывать эффективность
или не можно

Лилия Смирнова комментирует...

Мне кажется, что можно попытаться формулировать какие-то гипотезы на основе логов, но не делать далеко идущие выводы на этих данных. И вообще, наверное, желательно разделять исследовательскую деятельность и практическую. Исследования в нашей области в России существуют пока на уровне отдельных особо интересующихся персоналий - школы-то нет никакой... ну или я не знаю??? Больше знаком американский опыт: чтобы исследовать эффективность тех или иных приемов педдизайна, особенностей восприятия одного и того же контента разными категориями обучаемых и тому подобные задачи - люди разрабатывают специальные курсы, которые позволяют записывать очень широкий круг переменных на каждом шаге обучения. Сбор данных для последующего анализа происходит также с использованием метода прямого наблюдения за обучаемыми в процессе обучения (с фиксацией самых мельчайших деталей прохождения обучения, например "потер лоб" или "подставил руку под щеку, когда изучал такой-то фрагмент курса"), а также методом фиксации мыслей вслух.

Кстати, большой массив экспериментальных данных доступен для всех интересующихся вот здесь: https://pslcdatashop.web.cmu.edu/index.jsp.

Питтсбург - вообще такое место, куда каждый уважающий себя практик в области e-learning в Штатах пытается регулярно приезжать, чтобы узнать уже готовые результаты исследований и использовать их в своей работе. Нам бы у себя организовать что-то подобное - вот было бы здорово!

Эдуард Бабушкин комментирует...

Лилия, простите, не знаком с Вами, можно уточняющий вопрос: вы сами создаете курсы?
Или в Вашей компании проводится обучение с помощью электронных курсов?
Есть ли у Вас LMS?

Лилия Смирнова комментирует...

Ну, значит Эдуард, у меня более длинная память, даже несмотря на то, что девичья - я то с Вами даже пиво пила как-то раз :)
Создаю курсы с 1998 года, проводим обучение с помощью электронных курсов, и да - у нас есть LMS (и не одна). Занималась исследованием проблем интерактивности в эл.курсах - сейчас времени к сожалению, на это не хватает.

Эдуард Бабушкин комментирует...

Лилия, тогда вправду мы давно знакомы, потому что пить и курить я бросил более 10 лет назад))))
я могу вам лично предложение сделать по данному вопросу?
напишу просто, какую информацию хочу получить, а вы ответите, можете такое выгрузить или нет

напишите пожалуйста мне edvb()websoft.ru

или свой е майл дайте

и я с удоволсьтвием еще пива выпью))))

Лилия Смирнова комментирует...

Письмо написала. А попить пивка - добро пожаловать в Питер!

Эдуард Бабушкин комментирует...

тогда ближе в лету в пивом!
обещаю приехать, если результаты будут)

Павел Безяев (Webct) комментирует...

Лилия, поддерживаю Ваше мнение! Логи, конечно, могут что-то нам подсказать, но для оценке эффективности приемов педдизайна нужны дургие методы (очное наблюдение, анкетиврование, специальные курсы и тп). Серьзно у нас этим никто не занимается. В основном мы верим тому что получаем из западнных источников и узнаем друг у друга, потом просто смотрим как это корелирует с обратной связью от обучающихся. Если в курс на наш построен правильно и обратка 9 и выше, то мы как бы попали, а если обратка ниже, то похоже где-то промахнулись, но вот где именно - почти нельзя определить. Так вот на интуиции и работаем :)

Эдуард Бабушкин комментирует...

Павел, пришлите мне Ваши данные, хорошо?

хоть анализ логов, хоть анализ анкетирования

вы, безусловно, специалист, но все таки напомню: в файле должен быть набор переменных - расшифруйте мне их, пожалуйста, файл может быть формата тхт или csv - не суть
можно excel

также укажите, какие вы гипотезы выдвигали, что получилось доказать, что опровергнуть

спасибо

Лилия Смирнова комментирует...

Эдуард, хочу привести один небольшой пример. По поводу того, что удалось выяснить в ходе сбора обратной связи разными способами по 3-м электронным учебникам вот здесь: http://e-doctrina.ru/files/content/view/34/33/lang,russian/index.php

Статья 2006 года, много воды утекло уже с тех пор. Но там интересно то, что очень неожиданные гипотезы нарисовались уже в ходе самого исследования - вот эта шкала «Информация-Игра» - совершенно неожиданно выдала гендерные различия - никто вообще не планировал этот вопрос изучать, да и вообще вопрос о поле респондента в анкете был задан совершенно случайно - а как интересно все нарисовалось :)

Лилия Смирнова комментирует...

Павел, да, мне тоже неизвестны серьезные исследовательские коллективы у нас. Читаем западные статьи - и да, куда ж деваться - верим на слово :).
Хотя вот опять же у нас в Питере есть лаборатория при ЛИТМО, где используется современное оборудование для отслеживания траектории движения глаза по монитору - может там у них какие-то исследования проводятся?

Эдуард Бабушкин комментирует...

я там данных подбросил в тему)