Websoft

суббота, мая 30, 2009

Детальный анализ процесса обучения в СДО

Мы сейчас работаем над новым модулем WebTutor и размышляем над инструментами детального анализа поведения обучаемого в процессе знакомства с курсом. Сейчас система умеет хранить и анализировать по курсам, сделанным в редакторе Courselab (помимо стандартных баллов и статусов):
- информацию по каждому вопросу (interaction) - статус, баллы, потраченное время
- информацию по каждой цели (objective) - статус, баллы
- информацию по внутренним переменным модуля (начиная с версии 2.6 - выйдет в июне) - потребуется также разработка соответствующего аналитического отчета в WebTutor

Достаточно ли этого разработчикам и администратора СДО? Нужны ли расширенные данные?

Из того что приходит мне в голову и может быть реализовано:
- последовательность перехода между слайдами
- количество заходов на каждый слайд
- время проведенное на каждом слайде
- перечень посещенных и пропущенных слайдов
- комментарии обучаемого по слайду/задаче
- количество заходов в модуль
- ...

Немаловажно, что передача всей этой дополнительной информации увеличивает объем траффика между обучаемым и СДО. Что думаете?

17 комментариев:

Владимир Наумов комментирует...

- количество попыток при выполнении моноблочных (контрольных)тестов и тестовых заданий на отдельных слайдах (обучающе-тренировочных-на самопроверку)

Elena Lokteva комментирует...

- частота обращений к слайду/модулю;
- время, затраченное на изучение модуля;
- объем модуля (в Мб);
- объем графики в модуле(в Мб);
- технические требования к компьютеру для изучения модуля
...

Алексей Васильевич комментирует...

Самое главное - кому это надо? И кто с этими данными будет работать? Слушателю? Только если он будет изучать себя, вернее как он учится. Это мало вероятно. Учебному заведению? Детальный анализ (по кадровый) процесса обучения хорошо, но зачем? С точки зрения Учебного заведения необходим минимум. Этот минимум надо обсуждать. При включении дополнительных возможностей по контролю одновременно растет не только трафик, но и ЗРП персонала учебного заведения, возможно другие издержки.

Elena Lokteva комментирует...

Алексей Васильевич,
а какой минимум, по-Вашему, необходим Учебному заведению?
А ответ на вопрос "кому это надо" в исходном посте Алексея Королькова.

Владимир Наумов комментирует...

to Алексей Васильевич

- В первую очередь это нужно для обеспечения индивидуализации обучения или, если угодно, так называемых личностноориентированного подхода и гуманизации/демократизации обучения и образовательных учреждениях
- для специфической работы с наиболее и наименее успешными учащимися
- для управления преподаванием и учением (сумма которых дает обучение)
- наличие подобных инструментов позволит автоматически получать массу статистических данных о ходе уч.процесса, с которыми можно будет соответствующим образом работать (анализ, диагностика/оценка, затем - коррекция, совершенствование прогноз процесса).

Список можно продолжить...

Veselej комментирует...

Опять-таки забывается главное - Эффективность Обучения! То есть отношение Результата к Затратам.
Это отношение важно и для Обучаемого и для Обучающего (технолога обучения или педдизайнера).
Если результат фиксирован (научился писать букву О точно), то следующий вопрос - сколько времени потратил?
Чем меньше времени - тем выше обучаемость данного учащегося, данного класса, группы.
Для Управляющего также важна эффективность для выбора технологии и их совершенствования. Лучше та технология, что дает Заданный Результат за меньшее время.
Лучше тот технолог (педдизайнер), кто сумел повысить Эффективность обучения...

Veselej комментирует...

Главный вопрос - зачем анализировать? Каков заказ? Кто и как будет использовать результаты анализа?
Анализ - функция затратная и вспомогательная, если этап отладки закончен.
Значит анализировать нужно Немного и По Делу. А Главное Дело Образования - обучать все Быстрее и Качественнее, поскольку Обучение также вспомогательная функция и весьма затратная. Пока! Пока не пришел кто-то вроде Кулибина или Н.А.Зайцева и не совершил переворот, в РАЗЫ сокращающий затраты.

Владимир Наумов комментирует...

Лопата дешевле бульдозера, но не всегда эффективнее. Да и Кулибин придумал нечто более дорогое и в то же время более эффективное, нежели гужевой транспорт. Соотношение результата и затрат не всегда можно в лоб просчитать. Да и не всегда и не всем эффетивность паровоза была очевидна на этапе его проектирования и создания опытного образца с прокладыванием рельсов.

Elena Lokteva комментирует...

to Veselejka
И опять забывается: за эффективность обучения не только технолог (педдизайнер) отвечает. Есть еще те незаметные люди, которые обеспечивают, чтобы аудитория была вовремя забронирована и подготовлена, необходимое ПО - вовремя куплено, установлено и настроено, слушатели - вовремя предупреждены, что, где, когда и как.
И другие прочие, о которых технологу (педдизайнеру) беспокоиться некогда.

Sergiy Tytenko комментирует...

Сбор всяческих статистических данных безусловно важен.

Как именно можно будет это применить для индивидуализации обучения?
(хотя бы пару гипотетических примеров)

Veselej комментирует...

to Elena Lokteva
Неужели вы не различаете функцию главную - обучение и вспомогательную - обслуживание его?
Работа "незаметных людей" более проста, легче налаживается, а в ДО может быть сведена до минимума.
Обучение - самое ценное в системе - производит новые способности в человеке, а сервис - он и в Африке сервис.
Другое дело, что есть управленцы, не способные даже сервис прилично устроить, не говоря уже о производстве. Тогда вы полностью правы...

Veselej комментирует...

к Владимиру Наумову
"Соотношение результата и затрат не всегда можно в лоб просчитать".
Как я понимаю, есть трудности с расчетом соотношения результата и затрат? В отдельном случае?
А иногда можно, верно?
Значит, нужно сформулировать задачу "Как измерить соотношение результата и затрат при обучении ............".
И решать ее.
Не понятно как решать?

Владимир Наумов комментирует...

to Sergiy Tytenko

несколько примеров - (безотносительно темы сервиса и затрат :).
1. если преподающий (тьютор) видит, что все обучаемые проходят тест (тестовый вопрос) с первого раза и без ошибок, то можно предположить, что обучение не индивидуализировано и задание не позволяет индивидуализировать уч. процесс. И наоборот, никто верно не проходит, то же самое, либо задание с ошибкой либо неподъемно. Аналогично можно и с "кричащими" процентами поработать.
2. Если один или несколько обучаемых стабильно демонстрируют низкие результаты, им, видимо, нужно оказать поддержку или применить санкции.
3. Если один или несколько обучаемых стабильно демонстрируют высокие результаты, можно либо зачислить их в кадровый резерв или двинуть в науку, предложить что-либо по способностям.
и т.д.

Владимир Наумов комментирует...

to Veselej
Чего тут непонятного, как решать?
1. Ситуативно
2. По некой методике
3. Творчески
/и всё это - одновременно/
... может, и решится

Elena Lokteva комментирует...

to Veseljka
Могу привести пример, как я однажды прокололась с тестом и как благодаря электронному отчету в LMS ВОВРЕМЯ поняла, что прокололась.

Был у меня в тесте вопрос на последовательность. Правильный ответ выглядит примерно так:
Шаг 1 - Действие 1
Шаг 2 - Действие 2 или 3
Шаг 3 - Действие 2 или 3
Шаг 4 - Действие 4
Шаг 5 - Действие 5.
Тест когда-то раздавала просто в классе в виде распечаток, а с переходом на ДО из этого же файла сделала файл импорта вопросов, импортировала вопросы, убедилась, что все чики-пуки, и на радостях назначила тест.

Обучаемый видит вопрос: слева 5 списков из 5 шагов, справа - 5 списков из... 4 действий. Вариант "Действие 2 или 3" в списке встречается дважды. Но с точки зрения БД, в которой они хранятся, - это 2 совершенно разные записи!

Слушатели выбирают, вроде как, все правильно. Потом видят в отчете: в этом вопросе у них ошибка. В чем - не понимают. И молчат!
Пока не нашлась одна бойкая дама, которая спросила, мол, где я тута не права? Я полезла смотреть ее отчет о тестировании - нет ошибки. Полезла в общий отчет по статистике ответов на вопросы - кто-то один случайно ответил правильно, остальные провалили простейший вопрос! Не поленилась, влезла в отчеты по каждому обучаемому, и тут поняла, что я - лох позорный :)))
Вопрос переформулировала, тест переназначила, предыдущие оценки аннулировала. Обошлось, посмеялись со студентами, плюс я им заодно рассказала, как будущим веб-программерам, как работают лохи :)

Так это хорошо, что вовремя скумекала, и что "пострадавших" было на тот момент всего 10 человек. А если б вот так на каком-нить продуктовом курсе на 3000 сотрудников?.. До пенсии бы отвечала на недоуменные письма.

Sergiy Tytenko комментирует...

to Владимир Наумов

Спасибо за примеры.
Однако, это (возможно кроме п.2) действия, совершаемые персоналом, а не системой, таким образом организация сбора статистики и ее обработка играют роль СППР (система поддержки принятия решений).

Однако интересным здесь на мой взгляд является применение функций характерных для персональных сред обучения (как в недавнем посте про "убийц СДО" и упоминалось про PLE...).

Целью таких функций может быть автоматизированная индивидуализация обучения, что может включать прежде всего
индивидуализацию контента, а также др. методы.

Владимир Наумов комментирует...

Для индивидуализации контента понадобятся иные решения, типа баз данных и даже экспертных систем. Это, пожалуй, покруче PLE будет. И все равно L-managment-S никуда не уйдут. Может, в подобие СУБД преобразятся :)