Websoft

вторник, апреля 21, 2015

Как аватар влияет на успеваемость

Скажу сразу: никак
Сергей Колков мне вчера прислал данные по тесту Кем бы вы родились, если бы у вас был выбор?
Мы еще не смогли выявить значимых различий между сотрудниками, которые выбирают тот или иной аватар. Кроме возраста.
Данные были такие

  • Пол
  • Дата рождения
  • Название должности
  • Дата приема
  • Баллы
  • время прохождения
  • аватар

Что влияет на выбор аватара, я не нашел. В том, что влияет на баллы, накопал чуть чуть

Посмотрите на картинку: я накопал только два значимых предиктора - время прохождения и стаж. Зеленые - это те сотрудники, что дал 100 % правильный результат по тесту, а красные - любой другой.
Причем заметно, что реально разделяет только время прохождения. Потому что стаж у нас в годах. Для тех, кто умеет читать показатели регрессии, тоже видно, что время прохождения дает больший прогноз.
Coefficients:
                                                   Estimate     Std. Error   z value       Pr(>|z|)  
(Intercept)                                   2.28368       0.67480     3.384      0.000714 ***
log(стаж)                                    0.20085       0.06845     2.934      0.003343 **
log(время.прохождения)          -1.32103     0.09043      -14.608    < 2e-16 ***
Полw                                            -0.10756    0.31813    -0.338      0.735297

Единственная хрень, которую можно считать результатом, эта вот эта таблица

Если сотрудник прошел курс быстрее, чем за 20 чего то там, значит с вероятностью 63 % он получит по нему 100 балов. Но если он не уложился в это время, значит вероятность 90 %, что он не получит 100 балов.
И думаю, всем понятно, что корреляция не есть причинность

9 комментариев:

Сергей Колков комментирует...

В предыдущем посте я призывал после прочтения задать себе любой вопрос и самому ответить на него на основании приведенных данных.
Эдуард выбрал вопрос «Как аватар влияет на успеваемость» и ответил на него, используя статистические методы – все честно!

По поводу связи результата прохождения курса и времени прохождения – подтверждаю, так и должно быть! В курсе есть ряд обязательных заданий. Если владеешь темой, проходишь быстро, выполняешь все задания правильно с первого раза => максимальный результат за кратчайший срок. Не владеешь темой/сачкуешь => допускаешь ошибки => теряешь баллы и время.
Идея разработчика реализована и работоспособность подтверждается статистически после прохождения курса. ЧТД.

Эдуард Бабушкин комментирует...

а вы смотрели связь между скоростью прохождения курса и количеством транзакций например?)

для этого правда в СРМ надо залезать)))

Михаил Протасов комментирует...

Возможна ситуация, что обучение обязательное, а многие сотрудники не видят в нем для себя пользы и хотят сжульничать. Они передают между собой скриншоты с правильными решениями на все задания и тесты, или один самый умный проходит за всех под разными учетками - отсюда возможны стобальники за малое время прохождения.

Эдуард Бабушкин комментирует...

Сергей, а что это за полоска на рубеже 24 лет?)
был набор в это время?
это получается 1991 год - время образования банка?
сторожилы?

Сергей Колков комментирует...

Эдик, а то ты не знаешь!
Да, 91 - год образования банка. Те кто раньше - ну, так Возрождение появился в результате приватизации госбанка.

Михаил, списывают всегда! «Один за нескольких» - очень мало вероятно.
В курсе есть один засадный момент, звонков по нему была масса, но передавалась эта информация слабо. 100%-й результат у единиц.
Если судить по отзывам, этот курс на несколько десятых балла отстает от лучшего в библиотеке курсов банка. Уровень самостоятельности и сознательности (в смысле не в бессознательном состоянии) достаточно велик. Поэтому считаю данные Эдуарда очень правдоподобными.
Думаю, в следующий раз напишу об этом же курсе с точки зрения управления актуальностью.

Эдуард Бабушкин комментирует...

Сергей, да я то помню про 1991 год, мы же вместе с тобой у Белого Дома баррикады строили, забыл?
а после с пивом пошли в банк Возрождение

....

а каков порог времени прохождения, когда можно тупо щелкая по скриншоам, пройти курс?

Сергей Колков комментирует...

Думаю мин 10.
Ну не совсем "тупо". Там специально засады разбросаны, чтоб народ не тупил.
В данных есть время 4 мин (WT так выдает), но это явно нереальное время. Даже имея правильные ответы не успеешь сопоставить при вводе.

Эдуард Бабушкин комментирует...

ну если коротко, то результаты такие
я удалил всех, кто менее 10 мин проходил, вот
что получилось
описательные статистики
Min. 1st Qu. Median Mean 3rd Qu. Max.
10 48 94 137 180 1326

и уравнение
Estimate Std. Error z value Pr(>|z|)
(Intercept) 2.43107 0.70027 3.472 0.000517 ***
log(стаж) 0.19486 0.06951 2.803 0.005055 **
log(время.прохождения) -1.35493 0.10044 -13.490 < 2e-16 ***

я понимаю, что для вас это как порнофильм, но вот этот вот показатель

< 2e-16 ***

такой же как в посте. Т.е. время прохождения имеет такой же вес без тех, кто прошел быстрее 10 мин

Эдуард Бабушкин комментирует...

Сергей, теперь присовокупите к имеющимся данным еще вот такой факт
Как зависит удовлетворенность электронным курсом от времени его прохождения
http://edwvb.blogspot.ru/2015/01/kak-zavisit-udovletvorennost-ehlektronnym-kursom-ot-vremeni-ego-prokhozhdenija.html