понедельник, 16 мая 2011 г.

Таксономия Блума и оценка курса по Киркпатрику

Прочитал массу российских статей, блогов, просмотрел массу записей вебинаров. Все пытаются оценит эффективность дистанционного обучения. В большинстве, согласны на Киркпатрика, но хотели бы чего-то более эффективного.
Но ни разу я не встречал таксономию Блума и оценку курса по Киркпатрику вместе, во взаимосвязи.
Ведь понятно, что без одного нет другого.
Создали курс, который информирует обучаемых по некоторому вопросу (1 уровень по Блуму). Что нам даст оценка по Киркпатрику? Первая позиция (эмоции) - прекрасно, вторая (знания) - по разному (мы все разные, один - запомнил все и сразу, другой - после длительного повторения), третий уровень Киркпатрика - нашелся один, хорошо обученный, и сразу применил полученную информацию на рабочем месте, остальные - никак, но это и не планировалось. Дальше - хуже, зачем считать ROI, если в целях не стояло применить на практике?
Таким образом, оценка эффективности курса по Киркпатрику зависит от заявленных в курсе целей, обученности персонала, методов обучения и наверное еще много другого. Но об этом в следующий раз.

13 комментариев:

  1. Владимир Николаевич!

    Исходя из моего профессионального опыта (и финансиста, и консультанта, и бизнес-тренера), я бы порекомендовала при проведении оценки эффективности обучения использовать последовательность шагов, описанную здесь:

    http://premiumconsult.blogspot.com/2010/08/5.html

    Из всего, что я перечитала и переделала сама за время работы в компаниях и с компаниями, это наиболее полная, емкая и правильная последовательность действий.

    Но, безусловно, достаточно затратная. Но сегодня не существует более точных методов оценки эффективности обучения, чем пилотные группы. А создание и работа с пилотной группой всегда будет сама по себе затратной. И это еще при том, что мы исходим из предположения, что у нас в компании прописаны стратегические цели и определены разрывы компетенций, чего в большинстве своем вовсе не наблюдается.

    ОтветитьУдалить
  2. Уважаемая Ирина!
    Большое спасибо за интересные материалы, Вы остановили написание мной блога после сегодняшнего вебинара на эту тему. Насколько я понимаю, организаторы вебинара читают только себя. Если бы на вебинаре были подняты вопросы, описанные в Ваших материалах, это был бы очень полезный вебинар. Но увы!
    Что касается корпоративных дистанционных курсов, то эти методы оценки в тех курсах, которые я видел не будут работать. Потому, что все эти подходы изначально предполагают высокое качество курса, т.е. ориентация на четко определенную аудиторию и еще более четко поставленные цели обучения. Последнего в большинстве курсов я не видел, а разработчики практически ничего не знают о таксономии Блума.
    Отсюда вытекает - они не могут выбрать оптимальны метод обучения и используют наиболее известный - программированное обучение.

    ОтветитьУдалить
  3. Этот комментарий был удален автором.

    ОтветитьУдалить
  4. Владимир Николаевич!

    Писала-писала комментарий, много написала, опубликовала, а потом нечаянно его удалила :(. Будет время, попробую его вспомнить и повторить :)

    ОтветитьУдалить
  5. Владимир Николаевич, постараюсь восстановить утренние "размышления".

    Методы оценки, приведенные в статье, на которую я дала ссылку, работать в корпоративном обучении будут. Потому что корпоративное обучение имеет ряд отличий от обычного образования. Прежде всего, речь идет о постановке целей и о мотивации.

    Учебные цели в компаниях являются "прямыми следствиями" стратегических целей бизнеса. Менеджмент компании определяет стратегические цели, и уже исходя из них, выявляет разрывы в компетенциях сотрудников. Для ликвидации выявленных разрывов между теми знаниями и навыками, что необходимы компании для успешной работы на рынке, и теми, что есть в наличии и проводится обучение. Все. Особых каких-то сложных педагогических теорий тут не нужно - не курс же высшей алгебры преподается. В корпоративном обучении люди обучаются сугубо практическим вещам, которые должны помочь им лучше решать их профессиональные задачи.

    И оценка эффективности здесь грубо проста - до обучения не знал/не умел, после обучения - знает/умеет. Не тест сдал/не сдал, а именно какие-то практические знания и навыки может эффективно использовать на рабочем месте или нет.

    Основная проблема в оценке обучения в корпоративном обучении состоит в том, что внутри бизнеса, как правило, сложно четко очертить и выявить уровень влияния всех факторов, которые могли способствовать достижению целей, помимо обучения. в вузе просто - студент не знает, следовательно преподаватель не научил. Знает, значит преподаватель научил. А в бизнесе, например, в продажах, если после проведения обучения у большинства продавцов продажи стали больше - это действительно является следствием проведенного обучения или есть влияние роста сезонного спроса, например?

    Второе отличие корпоративного обучения от традиционного образования - мотивация. В вузах преподаватели иногда вынуждены "тянуть" нерадивых студентов, просто потому, что если этого не делать, то студенты будут отчислены, на на меньшее количество студентов нужно и меньшее количество преподавателей.

    В компаниях не так. Здесь на микроуровне действуют рыночные законы спроса-предложения. Собственники компании, с одной стороны, не заинтересованы тратить свою прибыль на обучение персонала. С другой стороны, они понимают, что высокопрофессиональный персонал - это сильное конкурентное преимущество. Поэтому так или иначе находится баланс между тем, чтобы поддерживать и развивать профессиональный уровень сотрудников и тем, чтобы не тратить на это уж слишком много ресурсов - все-таки основной вид деятельности любой бизнес-компании - это производство товаров и услуг, а не производство знаний. Для сотрудников же внутреннее обучение открывает возможности к профессиональному и карьерному росту. Это "пряник". Но про "кнут" тоже не забывают, если ежегодная аттестация показывает, что ты не закрыл выявленную на прошлой аттестации "дыру" в необходимых компетенциых, второго шанса могут и не дать.

    В общем как-то так. Если что-то получилось высказать сумбурно - спрашивайте, буду стараться разъяснить :) Вообще мы про эффективность корпоративного обучения много писали и переводили. Так что при желании у нас на блоге можно накопать еще статей по этой теме.

    ОтветитьУдалить
  6. Уважаемая Ирина!
    То, что Вы описали выглядит очень теоретично. И я могу только согласится. Но, мой опыт проведения пилотного обучения в банке показывает, что не все так радужно.
    Мы создали интерактивный дистанционный курс с сопровождением тьютора. Интерактивность определялась не количеством кликов, а активностью работы в дискуссиях и чатах. Курс был ориентирован на молодых служащих банка, имеющих стаж работы до года. Учились 4 недели, требуемое время в течении недели - до 3 часов.
    Учебный процесс полностью коррелирует в вузовским. В установленные сроки прошли обучение 10 сотрудников из 20. Еще 6 дорабатывали материал 2 недели. Первая половина довольна обучением, вторая кричала "я должен работать, а Вы меня отвлекаете". Эксперты высоко оценили предложения лучших учеников курса.
    Отсюда следует вывод - уровень мотивации одинаков, как в академическом, так и в корпоративном секторе. Чудес не бывает.
    Что касается ныне существующих курсов, которые мне довелось видеть в Интернет, то они создают иллюзию мотивации и обучения. Потерпеть час-два за компьютером и прокликать можно заставить всех. Какая польза - не понятно. Цели и практических навыков в этих курсах я не видел. Сплошное тестирование типа "дважды два - четыре, не правда ли".
    В любой организации есть люди, имеющие хорошую базовую подготовку. Для них любой курс преломляется на их практическую деятельность. Они к этому приходят сами. Поэтому выяснить, почему возросли продажи не так и просто. Хороший, думающий персонал - продажи растут, набрали недоучек - и обучение не спасет.
    Отсюда.
    1. Прежде чем оценивать эффективность обучения надо убедиться в качестве курса.
    2. знать базовый уровень своего персонал, что не всегда просто.

    ОтветитьУдалить
  7. Владимир Николаевич!

    Пожалуйста, назовите несколько критериев оценки качества дистанционного курса, которые Вы предложили бы для использования в корпоративном обучении, и которые, на Ваш взгляд, еще до запуска курса в программу обучения могли бы точно предсказать его эффективность.

    ОтветитьУдалить
  8. Уважаемая Ирина!
    Несколько критериев не получится, их поболее чем в комплексной системе оценки эффективности курса.
    Качественный курс предполагает качество на всех этапах создания. Погубить курс можно на любом этапе.
    Первое, квалификация автора курса. Когда мне говорят, что в корпорации есть так называемый "пед. дизайнер", который может сотворить любой курс, все становиться ясно и понятно. Ничего хорошего там нет. Можно не тратить время. Хотя обывателю он может и подойти.
    Дальше можно идти по технологии ADDIE, хотя она не является "истиной в последней инстанции", обеспечивая качество на каждом этапе.
    Если разработчики не знакомы с теориями обучения бихевиоризмом, когнитивизмом, конструктивизмом и их возможностями, то результат тоже будет сомнительный.
    Учить можно и без информационных технологий, но их использование тоже влияет на качество. А самое главное, дает новые возможности для педагогических технологий.
    Поэтому ответить на Ваше просьбу на одной странице просто не возможно. У меня по этому поводу издано два пособия: как создать курс и как учить дистанционно.
    Это все равно, что ответить на вопрос, что надо для того, чтобы сделать хороший холодильник (я работаю на кафедре технической криофизики и по специальности технарь). Понятно, очень много и культура в том числе. фирма изготовитель для нас, покупателей, тоже важна.

    ОтветитьУдалить
  9. Владимир Николаевич!

    Если грубо, то все Ваши аргументы сводятся к тому, что эффективность курса может гарантировать только создание их преподавателем, знакомым...

    >> с теориями обучения бихевиоризмом, когнитивизмом, конструктивизмом и их возможностями

    Хотя я абсолютно уверена в обратном - что знакомство и даже глубокое знание всех этих теорий не сильно способствует разработке качественных корпоративных программ обучения.

    Но так как критерием истины может быть только практика, нам остается лишь надеяться, что когда-нибудь все-таки настанет то счастливое время, когда преподаватели сумеют продать свои услуги корпоративным заказчикам, и на примере реальных проектов продемонстрировать другим разработчикам как надо делать "правильные" курсы. :)

    ОтветитьУдалить
  10. Уважаемая Ирина!
    Не все так просто. В университетах есть профессора ученые и методисты (например Фелдер и его теория стилей обучения) и просто профессора ученые. Они готовят элиту, но по-разному и по качеству и по количеству. Я не думаю, что они должны искать корпоративных заказчиков, скорее наоборот. Они без работы не сидят.
    Что касается корпораций, которые сами создают курсы, то они имеют дело с экспертами, которые абсолютно не знакомы с преподаванием, а им помогает команда. Без эксперта курса не будет, он профессионал. Если в этой команде нет методиста (а их никто не готовит), который знает методику создания курсов, то качества не будет. И никакие программисты и верстальщики не спасут курс. Хотя он будет очень красивым и привлекательным.
    Что касается нынешнего состояния, то я не вижу рынка e-learning. Покупают то, что есть. Что-то хуже, что-то лучше. Но я еще раз подчеркиваю, я хороших корпоративных дистанционных курсов не видел. Мне много говорили о корпоративных секретах, но достаточно поговорить с разработчиками и все становится на свои места.

    ОтветитьУдалить
  11. Владимир Николевич!

    По поводу "без работы не сидят". У нас в нашу бытность консультантами и бизнес-тренерами было несколько явных примеров, когда мы приходили на предприятия читать семинары и проводить тренинги после того, как до этого вели свои учебные программы преподаватели из вузов. Не было ни одного исключения, когда бы после преподавателей народ не отказывался бы учиться: "Слишком оторвано от практики, слишком заумно, слишком теоретично" и т.д. А мы после первых же программ "на посмотреть" работали потом с предприятиями годами, и обучали ни кого-нибудь, а топ-состав - людей очень статусных и, в каком-то смысле, привередливых.

    А еще я неоднократно наблюдала своими глазами, когда люди, на полной ставке работающие в компаниях, "для души" вели учебные программы в вузах и студентов от таких преподавателей "за уши не оторвать".

    Почему-то мне кажется, что в ДО сейчас складывается очень похожая ситуация. Покупают действительно то, что есть. И если кто-то сможет сделать по-настоящему классные курсы - купят и их. Так что делайте предложения рынку, и если они действительно стоящие, их у Вас купят.

    В любом случае, как мне кажется, это более продуктивный путь, чем просто охаивание того, что делают другие. Если можете делать лучше - делайте, показывайте пример. Если не можете - не ругайте :)

    ОтветитьУдалить
  12. Уважаемая Ирина!
    Мы с Вами снова идем в тупик. От качества курсов перешли к примерам из жизни.
    Что касается примеров, я стараюсь их показывать
    Это ссылка на пособие по разработке дистанционного курса:
    http://dl.kharkiv.edu/file.php/1/Kuxarenko_PDF.pdf Написано на украинском языке, но при желании понять можно.
    Сейчас занимаюсь организацией конференции "ДО в Украине", где планируется рассмотреть широкий круг вопросов и корпоративное дистанционное обучение, в частности. Приезжаете к нам на конференцию 1-4 ноября. Детали на сайте http://community.khadi.kharkov.ua/. Кречман обещал приехать.
    С понедельника начинаю открытый дистанционный курс "Социальные сервисы в дистанционном обучении". Тоже приглашаю, посмотрите, может быть что-нибудь используете в своей деятельности.

    ОтветитьУдалить
  13. Владимир Николаевич!

    Спасибо большое за ссылку на Ваше пособие, обязательно постараюсь почитать (правда, боюсь, что все-таки с украинским языком я не очень справлюсь, но буду стараться :). С благодарностью отношусь и к Вашему предложению приехать на ноябрьскую конференцию, но, честно говоря, я страшно тяжела на подъем в отношении любых конференций, выставок, круглых столов и т.д., поэтому пока ничего обещать не буду.

    Ваши открытые курсы я посещаю, правда, в записи, так как на вариант онлайн не хватает времени. Но считаю их делом очень нужным и полезным.

    Спасибо за общение!

    ОтветитьУдалить