Websoft

воскресенье, марта 04, 2012

Зачем делать «лишнюю» работу

При разработке курсов в нашем Учебном центре мы опробовали разные схемы прохождения упражнений и тестов учащимися:
  • «закрытая навигация» - никакие элементы навигации на слайде с упражнением недоступны до правильного выполнения;
  • «частично закрытая» - назад можно, вперед нельзя;
  • «условно закрытая навигация» - кнопки на слайде Назад/Далее закрыты, оглавление доступно.
По сути при любой схеме все упражнения обязательны для выполнения.

Недавно при разработке очередного курса мы с коллегами поспорили какую навигацию на слайдах с упражнениями сделать. Курс относительно большой, 5 обязательных тестов в конце каждого раздела (5-7 вопросов в каждом) и 16 необязательных упражнений (до 6-и уровней).
Мое предложение было – навигацию полностью открыть! Большинство упражнений достаточно сложны - пусть учащиеся сами выбирают что в какой последовательности изучать и какие упражнения выполнять. Обязательное условие завершения курса – правильные ответы на вопросы для самоконтроля.
Предложение оппонентов – не пускать учащегося дальше до тех пор пока правильно не выполнит очередное задание. Аргументация проста и очевидна – зачем тратить силы и время на разработку упражнений, если их никто выполнять не будет!
В итоге сделали по-моему и поспорили… по взрослому – на деньги :).

После назначения курса сняли статистику. Результат превзошел все самые оптимистические ожидания!
Всего в мероприятии приняло участие (успешно завершили курс) 1218 человек. Проходной бал в курсе (достаточный для завершения) был установлен на уровне 84% - успешное прохождение обязательных вопросов для самоконтроля.
Ограничились набором минимального количества баллов 0,16% работников – 2 человека!
100% баллов набрали 5% или 58 человек.
И 99% баллов заработали 80% работников проходивших курс, а это 977 человек!
Выводы:
  1. В споре я победил! :)
  2. Закрытость/открытость навигации на слайдах с упражнениями не влияет на процент их выполнения.
Но возникла другая проблема – что заставляет учащихся выполнять необязательные упражнения! Почему на фоне непрекращающихся стенаний по поводу дикой загруженности, нехватки времени и дурацкого содержания курсов подавляющее большинство работников стремятся достичь стопроцентного результата?
Коллеги, к вам вопрос!
Как вы думаете, почему люди выполняют необязательную работу (задания)? Вы проводили подобные эксперименты? Есть гипотезы (желательно проверенные) почему так происходит?

14 комментариев:

tatyana комментирует...

как вариант:
учащиеся тоже не хотят тратить время зря. И если они сразу могут ответить на вопросы - они постараются сразу ответить. Если ответы неправильные - они проходят информационный блок.

Но, мне кажется, не для всех это подходит курсов.
у нас курсы - по программному обеспечению. Модули заканчиваются тестом - но есть нюансы, которые не всегда в тесте можно отразить - поэтому используем вариант - прослушал - сдал тест - есть доступ к следующему материалу.

Сергей Колков комментирует...

tatyana, спасибо за комментарий.
«Если ответы неправильные - они проходят информационный блок.»
Вот это, по-моему, наше (разработчиков) большое заблуждение или мечта. По моим данным большинство пытается выполнить задание 2,3, 5, 7 раз. Не получается – бросают (звонят, ругаются, спрашивают у коллег). Единицы возвращаются, читают, разбираются, звонят, спорят.

Эдуард Бабушкин комментирует...

Сергей, знаю, что невозможно, но было бы интересно отследить "путь" - последовательность выполнения заданий учащимися

Сергей Колков комментирует...

Эдуард, в том то и дело, что возможно! Вручную, по отдельным работникам, но возможно.
Если говорить о приведенном примере, то ожидали приблизительно 50\50. У какой стороны в споре будет 54% (3% на ошибку), тот и победил. Но 85% работников сделали все что возможно в курсе – такого никто не ожидал.
Очевидно, что нужны дополнительные исследования, но на них катастрофически нет времени. Поэтому и задаю вопрос коллегам, может кто-то уже занимался этим вопросом.

Марина Унгер комментирует...

Сергей, здравствуйте!

Поздравляю с победой и спасибо за интересные наблюдения!

Единственное, мне не совсем понятно, почему пользователи выполняют задания до 5-7 раз? Они что, невнимательно читают, или задания такие сложные?

По поводу Вашего вопроса, почему люди выполняют необязательную работу (задания)? У меня есть несколько предположений, к сожалению ничем не подтвержденных.

1) Может быть люди не знают, что эти задания необязательные?

2) Может быть данный курс, в отличие от всех предыдущих, был по более актуальной тематике и люди понимали необходимость его прохождения?

3) Может быть в данном курсе упражнения были понятными и их не приходилось выполнять несколько раз?

4) Может быть у Вас в компании хорошо работает система стимулирования?

5) Может быть у Вас в компании работают очень добросовестные и сознательные сотрудники?

Такие вот предположения.

Сергей Колков комментирует...

Здравствуйте, Марина.
Предложенные вами гипотезы вполне приемлемы и логичны для внешнего наблюдателя, но…
п.1- вообще-то было написано! И кстати ваша фраза «Они что, невнимательно читают, или задания такие сложные?» - невнимательность усложняет любое задание.
п.3 – Некоторые за один раз выполнить невозможно. Есть, например, текстовый тетрис – 3 уровня – на каждом следующем уровне содержание падающих текстовых блоков меняется, а скорость падения нарастает.
п.4 – система стимулирования не связана с обучением.
п.2 и п.5 – эх, Марина, мне бы хоть немного вашего оптимизма. Не верю я в «торжество разума», тем более коллективного.

Владимир Наумов комментирует...

Полагаю, Сергей, что здесь сработало естественное желание человека контролировать, насколько успешно он выполняет работу (здесь, осваивает знания). И ваши необязательные тесты предоставили пользователям возможность получить от курса обратную связь.
Спасибо за интересный материал!

Виталий комментирует...

Возможно обучающиеся осведомлены, что в случае не прохождения им это негативно отметится, т.е. запуганы возможностью получить "по шапке" за не сданное тестирование в курсе. Пример: у нас вышел курс по банковскому продукту и лишь те, кто успешно прошел курс до даты "Х" получили права в системе на оформление данного продукта. Т.е.
1. Ученик "испугался" "наказания" от руководства.
2. Ученик не хотел выглядеть хуже своих коллег.
Подводя итог, мне кажется люди не хотят выглядеть "серой мышью" в тех или иных обстоятельствах. А набор максимального количества баллов, для некоторых, может являться поводом для повышения личной самооценки.

Вадим Лузянин комментирует...

Проведём анализ – к чему в ментальной сфере обучающегося привела возможность свободного выбора.
Ушло немое восприятие текста. Появилась возможность активно откликнуться. Появился маленький зазор, где смогла проявиться интенциальность, самостоятельность. Появилась возможность преобразования реальных лишних заданий в интенциональные обьекты. Чисто когнитивная процедура тестирования, основанная на демонстрации безличных, нейтральных значений по траектории заданного извне алгоритма, превратилась в ситуацию возможности смысловых переживаний.
Когнитивная составляющая сознания направленная во-вне на решение теста, ращепилась. Часть была направлена во-внутрь, на себя. Подключились функции самосознания. Заработали саморегуляция и самооценка.
Ещё в ‘’ Феноменологии духа ‘’ Гегель отмечал, что человек единственное из живых существ, которое может пойти на смерть ради признания.
Выполнение лишних заданий есть акт поднятия репутации как в своих глазах, так и других. Особенно это характерно для работников, менеджеров банков с высокой мотивацией достижения успеха.
В бихевиоральном смысле каждое решённое лишнее задание есть позитивно-прочувствованное подкрепление , повышающее самооценку.
Несколько десятилетий тому назад аналогичный феномен был представлен в работах Шаталова, школьного учителя, яркого представителя волны педагогики сотрудничества.
Он отмечал, что ученики выполняют намного больше заданий на дом, если число заданий заранее не указывается.

Владимир Наумов комментирует...

Вадим,
спасибо за развернутый и содержательный комментарий
+1

Сергей Колков комментирует...

Хм! Коллеги, как-то все слишком просто получается. «Дай человеку возможность выбора, и он сделает все. И даже больше». Насколько я знаю, стремятся и достигают стопроцентного результата не более 10% целевой аудитории (в любой сфере). Точнее 5-7 %. В нашем эксперименте и получилось 5%.

Параллельно у нас уже пару лет работает система оценки качества курсов по отзывам. Когда запускали систему, сделали процедуру «Отзыв» обязательной. Через год, когда люди к ней привыкнут, планировали сделать отзывы необязательными. И сделали! Так что вы думаете?! Отзывы стали оставлять те самые 5-7%. Хотя, казалось бы, понравился курс – напиши в отзыве, не понравился – «выплесни» раздражение. А 80%, которые и интересуют, почему-то «ускользают».

При всей правдоподобности и бесспорности данных, получается - «глазам не верю». Выход, похоже, один – продолжать эксперименты.

Владимир Наумов комментирует...

Сергей,
не факт, что у вас чистый эксперимент был: в таком деле слишком много переменных.
Тем более, что в обсуждении наметилось две тенденции:
1. Одни стоят на позициях теории X, другие - Y.
2. Одни рассуждают исходя из обыденных и эмпирических позиций, другие - опираются на некие концептуальные решения.

Вывод: продолжать эксперименты

Сергей Колков комментирует...

Владимир, а эксперимента, по сути, и не было! Элементарный сбор и анализ данных, лежащих на поверхности, привел к появлению этой статьи. Сейчас копится пул гипотез, требующих проверки. На специальный эксперимент (в классическом понимании) ресурсов нет. И сомневаюсь, что у коллег - корпоративных разработчиков они есть. Но очевидно, что надо закладывать в курсы больше элементов обратной связи курс\учащийся – тьютор, собирать статистику… Рано или поздно пригодится!

Владимир Наумов комментирует...

Согласен, Сергей, в том числе и в части трудностей. Как бы там ни было, корпоративная культура (порядки) как-то влияет. И от этого влияния ох как сложно уйти в эксперименте. А данные нужно копить.

PS. Наблюдал в одной компании отзывы (десятки и сотни тысяч человеко-курсов в год) - если народу что-то не нравилось, он отзывов просто не оставлял. В течение 3-х лет (курсы - одни и те же, пользователи либо новые, либо те же, да на новых для них курсах) количество отзывов от нескольких сот на курс свелось практически к нулю. Как будто все происходило при прочих равных условиях. Одни загадки :(((