Websoft

понедельник, июля 23, 2007

Эффективность обучения и модель обучаемого

Попытки измерить эффективность электронного обучения порой сводится на нет потугами понять, а что же такое эта самая эффективность.

Эффективность чего? Процесса, результата, инвестиций, временных ресурсов?...
Эффективность по сравнению с чем? Прежним уровнем обученности, идеалом, уровнем подготовленности персонала конкурентов, в отрасли, на мировом рынке?..
Каковы единицы измерения эффективности? Количество закончивших курс, соотношение положительных и отрицательных отметок? отзывы отучившихся и их начальников, диагностическое тестирование?..

Признаюсь прямо: стоит лишь приступить рассуждать об эффективности учебных курсов, голова сама прячется в песок, а ноги невольно несут в кусты. Явное, как говаривал В.И. Ульянов-Ленин, «усердие не по разуму». Уж больно философская категория — эффективность обучения.

Ничуть не хуже и другая категория: модель обучаемого, которая также пытается очертить характеристики учебного процесса и его результатов.

Поскольку плодом просвещения является не кто иной, как сам обучаемый (а не корпоративный образовательный центр или наличие учебного курса) резонно составить желаемый образ этого плода — модель обучаемого.

Пока определим ее в широком смысле:
Модель обучаемого — это знания обучающего о том, кого он будет учить.

Конечно, погружаясь в эти знания можно вновь оказаться заподозренным в тенденции «объять необъятное». Ведь речь пойдет об описании наличных знаний и опыта человека, психологических и коммуникативных качеств, профессиональных характеристик и др. Тем не менее, здесь мы можем пуститься на две маленькие уловки, способные спасти нас от утопления в бездне души обучаемого:
Ограничится моделирование обучаемого применительно к требованиям одного единственного, локального, а значит, конечного курса.
Ограничить до измеримого и посильного для работы количество параметров этой модели

Почти 100 лет назад потрясающий французский педагог Селестен Френе заметил, что общество предъявляет к наставникам (моделирует педагогов) непомерные требования: они и теорию предмета знать должны, ораторскими и актерскими данными обладать, чужую душу чувствовать и понимать (психология), эталоном нравственности быть, ну и менеджерировать обучение обязаны. Боги не боги, но никак не менее святые, чем Папа римский. Не стоит покушаться на неподъёмное! Пока, по крайней мере

Различают несколько модельных подходов к обучаемому:
Реальная модель (диагностика наличных знаний, умений и качеств)
Нормативная модель (требования к состоянию обучаемого после завершения обучения)
Потенциальная модель (предвидение возможных отклонений от нормы в реальной или нормативной модели)
Сегодня нас будет интересовать нормативная модель как наиболее прагматичная и актуальная с точки зрения массового корпоративного обучения.

Выделим, не претендуя на полноту и абсолютную истинность, важнейшие параметры нормативной модели.

Предметный параметр
Фиксирует объем необходимых знаний и степень овладения ими.

Функциональный параметр
Опеределяет роль (структуру) тех или иных знаний о предмете (определения, свойства, обобщения, следствия, методы, процессы, алгоритмы и др.).

Процедурный параметр
Процедурные знания описывают порядок и характер оперирования знаниями (Это умения, навыки, рецепты, инструкции, алгоритмы, методики, стратегии принятия решения и др.)

Прагматический параметр
Описывает степень адекватности применения предметных, функциональных и/или процедурных знаний в организационной деятельности.

Возможно, этих параметров вполне достаточно для осуществления педагогического дизайна отдельных куросв.

В заключение позволим себе выдвинуть парочку гипотез:

1. Критерием эффективности обучения может считаться реализация нормативной модели обучаемого в ходе освоения того или иного курса.

2. Числовое выражение параметров (та же отметка тьютора или результаты теста) нормативной модели обучаемого может послужить основой для автоматизации оценки эффективности обучения в организации в целом, как минимум, стохастичской.

21 комментарий:

greger комментирует...

Владимир, если позволите, дополню Ваши рассуждения.
Критерием эффективности будет степень соответствия онтологии предлагаемого курса и знаний обучаемого, также представленных в виде онтологии. Следовательно, числовой параметр здесь будет не информативен. Можно усложнить оценку, сравнивая онтологии ученика до и после обучения. Вопро в выявлении этих онтологий и создании инструментов для этих оценок.

andrey firsov комментирует...

Доброго времени суток, Владимир!
Поскольку я заканчивал не институт, а училище, пусть и высшеее, но техническое, мне ближе более прагматичные подходы, низменные такие...
модель обучаемоего, обучающего - это конечно вещь полезная, но прежде хотелось бы составить модель заказчика...
то есть, иными словами, важно, кто играет и кто танцует, но важнее - кто заказывает музыку.
кто заказывает обучение, что ему (заказчику) от него (обучения) нужно...
вот тогда и высняется - что надо отсечь от модели обучемого, а что оставить, в чем убеждать заказчика до хрипоты, а в чем - с ним соглашаться...
попробую развить свой пост в следующий свободный квант времени - если конечно найдется кто-то, кому это интересно будет...

Андрей Балыков комментирует...

Владимир, спасибо!
Очень интересно.

Андрей Балыков комментирует...

Андрей, если появится такая возможность, напишите поподробнее.

Владимир Наумов комментирует...

Greger,
в моем посте шла речь только о Нормативной модели обучаемого. Если мной верно понят смысл Вашего дополнения, Вы ведете речь (в конце поста) о некой разновидности Динамической модели, логика которой строится на сравнении исходного и конечного состояний обучаемого. Что же касается онтологии Нормативного типа - она имеет /=не имеет/ место по умолчанию и зачастую не осознается. В результате - кромешный эклектизм технологий обучения.
На самом же деле приментиельно к отдельным курсам "онтологии" простраивать довольно просто (при их наличии в головах исполнителей и заказчиков). При строгом следовании исходной аксиоме конкретной онтологии конечный курс занимается формированием 2-3 желаемых качеств обучаемого и профилактирует 2-3 нежелательных качества. Практическая реализация подобного похода может базироваться, в частности, на семантических полях и всяких моделях мира.

Владимир Наумов комментирует...

Здравствуйте, Аndrey Firsov!
Некоторым танцорам мешают ноги, педагогам - ученики, разработчикам - заказчики.

А серьезно, затронутая Вами проблема очень непроста и в один день не решится. Ох, боюсь, не скоро у большинсва заказчиков выкристаллизуется образовательная политика компании, адекватная нашим условиям. Это - всехняя проблема. И наша тоже.
Себя я утешаю тем, что заказчик также думает, ищет и пробует, равно как и мы. Очевидно, что модель корпоративного обучамого задается прежде требованиями заказчиков со всеми их достоинствами и ограничениями. Здесь Вы абсолютно правы!
Очень бы хотелось развития Вашего поста :)

greger комментирует...

Владимир, постараюсь объяснить , что я имел в виду.
По роду своей деятельности (я преподаю информационные технологии в техническом университете) размышляя над вопросам использования Elearn в учебном процессе пришел к следующему.
Степень подготовки специалиста в настоящее время определяется Госстандартом на специальность. Стандарт можно представить как некоторую онтологию. В свою очередь, комплекс учебных программ и ресурсов также представляют из себя онтологию (точнее набор, который еще надо синтезировать). Зания и умения ученика до и после обучения - опять онтология. Отсюда вывод - процесс обучения , адаптируемый для конкретного человека - это динамически строящийся курс, эффективность - см. предыдущий пост. В настоящее время я пытаюсь работать в этом направлении.

Алексей Корольков комментирует...

Боюсь, что основная проблема в том, что большинство стандартов морально устарели и не соответствуют реалиям 21 века, требованиям бизнеса и.т.п. Маленький пример - когда я учился в МГУ на факультете ВМиК уже был MS Office и многие другие технологии. А нас учили VisiCalc и Лексикону (хотя вообще не понятно зачем учить программистов офисным пакетам, тем более морально устаревшим). Мы также программировали на ассемблере для IBM 360, что очевидно никому не пригодилось. А собственно реально необходимы знания и навыки приоретались самостоятельно, теми кто это хотел. И это между прочим было в МГУ!

Алексей Корольков комментирует...

Продолжение - поэтому непонятно в чем смысл сравнивать результаты обучения в ВУЗе с неадекватными стандартами. Сначала стандартны нужно привести в порядок.

greger комментирует...

Алексей, все правильно. Вопрос как раз в том и состоит. как создавать эти стандарты. Т.е. требования заказчика должны быть четко структурированы, а не ограничиваться заявлениями, что в результате обучения выпускник должен уметь делать все. Таким образом, мы стоим перед вопросом создания и оценки - стандартов, системы обучения и системы тестирования.

Владимир Наумов комментирует...

В теории образования имеет место стереотипная цепочка: качество образования - его стандарт - модель обучаемого. Алексей прав, стандарты мумифицируют образование (правда, когда Вы учились, Алексей, образовательных стандартов, кажется и в МГУ еще не существовало). А вот онтология (полагание мира на основе определенной аксиомы) задает направление движения мысли вообще. Если образовательный стандарт будет задавать модель специалиста самообучающегося и самообразовывающегося на злобу дня, и соответсвующую модель теоретически можно сконструировать. Не уверен, правда, что наш бизнес (кроме IT и иных сфер, связанных с производством объектов интеллектуальной собственности) до этого дозрел :) .

Dmitry комментирует...

А почему же незаслуженно забыты основы менеджмента, планирования и целеполагания?
Где же постановка целей, вычленение компонент развития, gap analysis в конце концов (для любителей западных практик)? То, что получается в результате корректной оценки потребностей, можно назвать и моделью обучаемого, а можно - деревом целей обучения, к достижению которых и надо двигаться... и вот цели-то эти - как раз то, что составляет собой модель заказчика.
Или я неправ? ;)

Алексей Корольков комментирует...

Дмитрий, давайте спустимся на землю и попробуем отвлечься от общих слов и рассмотреть практику:
- есть менеджер по продажам для которого прописана модель компетенций и даже проведена оценка
- по результатам этой оценки на основе как Вы выразились gap анализа составлен перечень компетенций, знаний, навыков и умений подлежащих развитию и даже определен список развивающих учебных программ (например 5 штук тренингов)
- менеджеру параллельно поставлены цели по увеличению объема продаж и повышению отдачи от ключевых клиентов
- за определенный период времени менеджер изучил 3 из 5 запланированных курсов, дополнительно сходил на 2 незапланированных ранее тренинга (начальство послало), а также прочитал много полезных книг и вообще интеллектуально возмужал :) Кстати за период компания в целом улучшила качество сервисного обслуживания, что увеличило лояльность клиентов
- менеджер на 95% выполнил план по продажам но перевыполнил план по ключевым клиентам на 25%

Теперь внимание вопрос:
как оценить эффективность тренинга №2 с точки зрения gap анализа и оценки результатов деятельности (если у нас есть такие же данные по 100 менеджерам прошедшим обучение)??? Можете описать алгоритм?

Это я не в том смысле что ничего не надо говорить о результатах деятельности и т.п.. просто это весьма нетривиальный вопрос.

Владимир Наумов комментирует...

Алексей, импонирует Важе желание спуситься на землю. Если у нас 100 менеджеров прошли курс № n, можно измерять "среднюю температуру по больнице" и сравнивать ее показания с показаниями отдельного клиента. Иногда это работает. Более того, некоторые методики оценки и диагностики персонала и групп строятся в этой логике. Не уверен, что применительно к gap анализу такой подход подойдет в принципе (в контексте эффективности обучения), а вот кое-что другое можно оценить/измерить. Правда, алгоритма не дам, поскольку им не обучен :)

Andrey Firsov комментирует...

Назвался груздем - полезай в кузов.
Попробую написать про модель заказчика.
Сразу хочу оговориться, что идеальной модели заказчика
составлять не буду.
да и то, о чем я буду писать - скорее не модель, а типажи, этакие зарисовки.
в каждом типаже вижу свои положительные стороны,
а как их объединить вместе - не предсталяю.
ну все, хватит лирики - к делу....

модель первая - "вистующий".
набирает "висты" на таком новом для компании деле, как электронное обучение.
очень активно участвует в процессе
нуждается в первую очередь в постоянном прогрессе - чтобы в системе
какой-то показатель непрерывно развивался - число курсов, количество обучающихся и т.д.
эклектики не страшится, если она приводит к росту на графиках.
главная цель обучения для такого случая - показать интерес к системе.

модель вторая - "лентяй".
из всех преимуществ ELearning выделяет прежде всего одно -
возможность "расшить узкие места", охватить много людей,
решая конкретную рутинныю задачу, которая надоела ему хуже горькой редьки.

модель третья - "аккуратист".
в системе дистанционного обучения ценит прежде всего строгость и стройность
прозрачность сверху донизу.
очень не любит ломать или менять что-то налаженное, предпочитая встраивать
новые возможности в уже имеющиеся бизнес-процессы.

модель четвертая - "аналитик".
всерьез заинтересован новыми перспективами, которые открывает дистанционка.
читал о них, или наслышан - без разницы.
очень расстраивается, когда его мысли встречают проиводействие с двух сторон -
со стороны разработчиков курсов и систем, поскольку они мыслят немного по-иному.
и со стороны обучающихся - потому что они не горят желанием осваивать что-то новое.

модель пятая - "обезьянка"
очень увлечен самой идеей электронного обучения - потому что это "самое передовое",
но больше потому, что "женщины уже в волейбол играют" - то есть это "у всех уже есть"
хватается за любые идеи, очень горд разнообразием имеющегося в системе функционала.

andrey firsov комментирует...

...продолжение
к чему я все описывал?
дело в том, что я:
а) технарь-практик
б) программист-внедренец
поэтому имею свое "глубоко неправильное мнение" - модель обучающегося хороша тогда,
когда она (вернее ее выбор), отталкивается от модели того, кто заказывает обучение.
ломать заказчика - дело бесперспективное, можно лишь подправлять его, переводя из одной модели в другую, а лучше - находить в компании разных заказчиков "разных моделей" - такая диверсификация обеспечит рост внедрения, а нам с вами - возможность кушать хлебушек с маслом, а то - и с икоркой.
все что написано выше и ниже - измышления дилента, поскольку с теорией я не в ладу.
так что прошу простить за в возможные очевидные ляпы и расхождения в терминологии.
например - тип первый - здесь подходит модель "ищущего студента" - того, кто хочет заниматься самообразованием. ему надо предложить что-то интересное для него, увлекательное.
тогда он будет открывать и читать все новые курсы, вы получите обратную связь,
а заказчик - хорошие показатели роста.
тип второй - надо быть готовым, что слушателям ваш курс на фиг не сдался. они будут его воспринимать как рутинную вещь. поэтому главное - чтобы все было кратко и понятно. цель обучения должна быть ясна с первых слов, а точнее - еще до того, как они будут сказаны. типичный пример - курсо-тестирование - когда основной материал предназначен только для того, чтобы помочь ученику сдать тест - никакой лирики, никакой "воды" - только те знания, которые будут нужны при сдаче итогового теста.
тип третий - материал должен быть увязан с существующим бизнес-процессом. типаж ученика - "привередливый". курс должен быть как очень точным - ошибок вам не простят, но и одновременно увлекательным - поскольку ученик будет понимать, чему и зачем он учится и не воспримет адектватно чтение сухих нарезок из инструкций и положений.
тип четвертый - самый наверно благодатный для разработчика (не пятый - об этом ниже) - но и самый трудный, поскольку свести к одному знаменателю свои и его взгляды на процессы - задача не тривиальная. но зато тут можно развернуться во все широте, одновременно понимая, что обучающиеся под твою модель будут найдены, корпоратичное обучение - это не ВУЗ, и слушатели сами подстроятся под нужную модель, если эта модель будет вписана в бизнес-процессы.
тип пятый - очень хорошо, если заказчик этого типа принадлежит к топ-менеджменту. но в качестве конкретного исполнителя придется искать заказчика другой модели. если вы конечно не хотите, чтобы то, что вы внедряете, не осталось просто еще одной игрушкой, пылящейся на полке корпоративного склада.

andrey firsov комментирует...

что-то я расписался на ночь глядя...

Владимир Наумов комментирует...

Андрей,
на мой взгляд, Вы сделали весьма любопытное описание (моделирование) заказчиков, вполне рабочее для продвижения товара (средства э-обучения, в нашем случае).
Как практик, Вы, безусловно правы: уже сам тип заказчика часто предопределяет цели обучения и модели обучаемых. Похоже, это не всегда плохо (благодаря Вам я это, наконец, понял :) ).
Один черт, модель обучамого задается потребностями бизнеса, и если субъект-заказчик их адекватно осознает и адекватно переводит в тех.задание - просто идеально. Но заказчик то, модель не идеальная - а живой человек со своими забобонами (равно как и создатель курса), которые, имеют к обучаемому весьма отдаленное отношение.
Модель заказчика и модель обучаемого, все-таки разные вещи. Работа с тем (продажа, внедрение) и другим (обучение) - две большие разницы. И эти разницы иногда конфликтуют. Приятно, что Вы об этом серьезно думаете.
Вы поставили очень важную и нетривиальную проблему. Решать ее, сколько бы мы ни говорили, придется скорее практически, меньше - теоретически.

P.S. Спасибо, с удовольствием и, надеюсь, пользой читал Ваши комменты.

andrey firsov комментирует...

Владимир, спасибо за добрый отзыв!
возможно тут сказалось мое некоторое косноязычие (водится за мной такой грешок), но говорил я вовсе не о продажах. а именно о результатах. суть вот в чем. не помню точно как по латыни звучит "кому выгодно" - так вот я именно об этом.
понимаете - модель обучаемого и модель учителя - вещь абстрактная. и в реальном процессе корпоративного обучения мы всегда найдем хотя бы несколько человек, подходящего под нашу модель. но... если эти несколько человек - как раз та целевая группа, которая нужна нашему заказчику в данный момент - то мы попали в точку. а вот пусть модель правильная, отвечает целям бизнеса, но не совпадает с целевой группой для заказчика - все впустую... все будет очень хорошо, и результаты должны быть зашибись, но результатов не будет - потому что это обучение никто не будет двигать. именно поэтому я и написал про первичность модели заказчика. вывод - или ищите модель обучаемого, подходящую под имеющегося заказчика... или меняйте заказчика под вашу модель, воспитывайте его... но все равно на первом этапе придется применять именно ему подходящую модель... или ищите в компании другого заказчика, подходящего под правильную модель... но все равно правильно будет взять при этом нынешнего в союзники - так что модель обучаемого под него все равно придется реализовывать...

andrey firsovв комментирует...

добавок..
это я не к тому - что бессмысленно модель строить, а к тому - что моделей должно быть много. и учитывать они должны не только цели бизнеса, но и цели реальных людей.
вот например "gap analysis" - как прозвучало у Дмитрия, или "менеджер по продажам с моделью компетенций, оценкой и планом обучения" - как у Алексея...
вопрос - если перед кокретным человеком стоит вопрос организации первичного обучения сотрудников нижнего звена при безумной текучке кадров - что ему этот "гап анализ" и "модель компетенций"...

Владимир Наумов комментирует...

Андрей,
с Вами трудно не согласиться. Отчасти потому, что Ваши остроумные примеры опровергают любую модель. Наша дискуссия лирика-физика (технаря-гуманитария) тем не менее полезна. Один стоит на позиции фактов (вещи упрямой), другой - идеальных конструктов-моделей (не столь упрямых, сколько скользких). Тем не менее, дискуссия небесполезна. Примеры из практики опровергают любую теорию, но не могут объяснить себя сами, побуждая нас думать.
Попробую предварительно суммировать, на свой вкус :) результаты обмена мнений:
1. Модели нужны
2. Модели следует ориентировать на цель, а курсы должны быть многоцелевые.

Сложившийся список моделей:
а) заказчика,
б) групп обучаемых (которых может быть несколько),
г) модель /возможно, доминирующая/ результата обучения,
д) бизнеса в целом.

Думаю, Андрей, что в неявном виде эти модели более или менее адекватно присутствуют в любом из курсов. Беда в том, что сами разработчики и заказчики всех их не осознают. Так сказать, бессознательное курса.

Ваши размшления заставили меня подумать вот еще о чем - о власти. Менеджмент базируется на власти. Корпоративный курс - это инструмент власти. Возможно, модель заказчика коррелирует с моделью власти и стиля руководства. И стоит подумать в эту сторону.