оценка эффективности и результативности процесса обучения

Обучаем – оцениваем

Алена Симонова, консультант консалтинговой компании ITeam

Могут ли представители компании, прошедшие обучение, сами оценить его качество?

Какие показатели важны при оценке обучающего курса, как их рассчитать?

Е.Н. Ветлужских, заместитель директора по персоналу ООО «ТК «ЛИНКОТ», г.Екатеринбург

Комментарий эксперта ITeam: Измерение результативности отдельных учебных курсов – только один из возможных подходов к оценке качества обучения в организации. Он наиболее актуален, когда целью учебы является развитие «технических» умений и навыков.

Как правило, при этом сотруднику отводится достаточно пассивная роль в обучающем процессе – определили потребности в обучении, подобрали вариант обучения, посетил обучение, измерили результат.

Существует альтернативный подход к обучению и, соответственно, к измерению его эффективности. Перед человеком очерчивается контур корпоративных стандартов, и оценивается общее соответствие этим стандартам. Такой подход актуален прежде всего в компаниях, где успех зависит от свойств личности в целом, а не от владения узким функционалом. В этом случае вполне адекватным выглядит, например, решение выделить определенный бюджет и передать каждому специалисту полную ответственность за составление и реализацию собственной учебной программы.

В ООО «ТК “ЛИНКОТ”» обучение разделяется на краткосрочное (от 1 до 5 дней) и долгосрочное (несколько модулей по 3 дня). В зависимости от формы обучения используются различные методики оценки его результативности и эффективности.

Особенности организации процесса обучения

На начальном этапе исходя из целей предприятия и подразделения определяются задачи обучения. Далее в компании предпринимаются следующие шаги:

Заместитель директора по персоналу осуществляет контроль и координацию всех стадий организации процесса.

Оценка результативности обучения

Критерии результативности краткосрочного обучения

1. Удовлетворенность сотрудника, прошедшего обучение.

Для оценки сотрудники после обучения заполняют специальные анкеты (см. прил. 1) и сдают их в службу управления персоналом, в которой проводится анализ и расчет результативности по данному критерию, выявляются причины неудовлетворенности и делаются выводы.

2. Эффективность внесенных обучившимся предложений по усовершенствованию его профессиональных навыков, повышению эффективности деятельности сотрудника, отдела, подразделения или выполнение данным работником специального задания.

Сотрудник, прошедший обучение, выносит на рассмотрение руководства предложения по улучшению деятельности (отдела, подразделения) с учетом полученных знаний, которое оценивается с точки зрения эффективности. Другой вариант: служба персонала совместно с руководителем разрабатывает специальное задание в соответствии с целями пройденного обучения. Устанавливается срок его выполнения и далее оцениваются результаты.

3. Удовлетворенность руководителя результативностью обучения.

Непосредственный руководитель заполняет анкету результативности обучения (см. прил. 2), проводит оценку в баллах. Желательно это делать через 2–3 недели или месяц после обучения.

Подведение итогов оценки

Далее проводится анализ полученных данных (возможно сравнение результатов удовлетворенности обучившегося и руководства) и делаются выводы о качестве обучения. На заключительном этапе происходит анализ всех данных и дается окончательная оценка эффективности проведенного краткосрочного обучения.

Для подведения итогов оценки сотрудника можно использовать следующую последовательность действий:

*Затраты на обучение оцениваются исходя из его стоимости, суммы командировочных расходов и т. д.

Степень общей эффективности обучения устанавливается в результате оценки по всем критериям. Пример расчета результативности краткосрочного обучения приведен в таблице.

Таблица. Расчет результативности краткосрочного обучения

*Вес критериев определяется для каждой организации индивидуально. Сумма весов не должна превышать 1.

В будущем в компании ООО «ТК “ЛИНКОТ”» планируется проводить сравнение полученных показателей с общей результативностью деятельности сотрудников и по результатам вносить коррективы в методику оценки обучения и разработанные критерии.

Критерии результативности долгосрочного обучения

При долгосрочном обучении, помимо вышеописанных критериев краткосрочного обучения, дополнительно используются следующие.

1. Приобретение обучающимся необходимых знаний, навыков и качеств.

Для оценки приобретенных сотрудниками знаний возможно проведение экзамена. Лучше всего использовать профессиональные тесты (часто в организациях они разрабатываются непосредственными руководителями или ведущими специалистами в данной области деятельности). Оценка навыков и качеств вызывает определенные трудности. Во-первых, она должна проводиться через определенный период времени, например, через 1–2 месяца после обучения (в зависимости от должности и вида обучения). Во-вторых, для этого необходимо планировать финансовые и временные ресурсы (она довольно трудозатратна). Прежде чем оценивать навыки и качества после обучения, необходимо выявить степень их развитости до него и сравнить результаты. Кроме этого, важно определить сроки проведения оценки (через какой период времени после обучения).

В этих целях могут применяться оценка по методу “360 градусов” или обычные методики: кейсы, групповые и индивидуальные упражнения, наконец, ассессмент-центр.

2. Эффективность деятельности сотрудника, прошедшего обучение.

По этому критерию в компании оценивается результативность (эффективность) деятельности сотрудника после обучения, которая выражается:

Новым для компании стал расчет следующих показателей по оценке эффективности обучения за год:

1. Общая результативность обучения сотрудников предприятия:

где К1 – количество работников, обучение которых оценено как результативное, равное или выше установленного норматива (определяется по вышеперечисленным критериям); К2 – общее количество работников, прошедших обучение за данный период.

2. Эффективность обучения сотрудников предприятия:

где К1 – количество работников, обучение которых оценено как результативное; З – затраты на обучение в год.

Для того чтобы установить норматив эффективности обучения, показатели оценивались в течение нескольких кварталов. Важно анализировать их в динамике. Показатели ниже нормативных свидетельствуют о необходимости анализа и выявления причин такой результативности.

3. Для некоторых групп обучаемых можно посчитать возврат инвестиций в обучение. Для менеджеров по продажам это могут быть показатели роста прибыли, объема реализованной продукции (рассчитываются при отсутствии изменений во внешней среде, например, появления нового конкурента на рынке, резкого изменения спроса на продукцию), отнесенные к затратам на обучение.

Отчет об оценке результатов обучения может включать:

Приложение 1

Анкета оценки обучения

Участник обучения (Ф.И.О.) __________________________________________________

Подразделение, должность ___________________________________________________

Тема обучения ______________________________________________________________

Место проведения (город, учебное заведение)____________________________________

1. Оцените результативность обучения по 10-балльной шкале (1 – неудовлетворительно, 10 – отлично)

*Результативность обучения сотрудника (Рс, %) рассчитывается по формуле:

2. Ваши предложения по улучшению деятельности (отдела, подразделения) с учетом полученных при обучении знаний: ____________________________________________________________________

3. Оценка качества преподавания:

4. Ваши пожелания по совершенствованию обучения:

Дата __________________ Подпись________________

Приложение 2

Анкета оценки обучения

Участник обучения (Ф.И.О.) ______________________________________________

Тема обучения (семинара)________________________________________________

1. Оцените результативность обучения по 10-балльной шкале (1 – неудовлетворительно, 10 – отлично)

2. Какие еще знания, умения необходимы сотруднику для успешного выполнения его должностных обязанностей (ваши предложения по улучшению деятельности подразделения с учетом полученных на семинаре знаний): ____________________________________________________________

3. Какое еще обучение необходимо сотруднику (по какой тематике):

4. Ваши пожелания по совершенствованию обучения в организации:

Дата __________________ Подпись________________

Источник

Эффективность обучения: как правильно ее оценить?

Автор : А. Денисова,кандидат экономических наук, ведущий эксперт Департамента управленческого консалтинга ЗАО «Профессиональные аудиторские консультации»

Вопрос о необходимости оценки эффективности обучения персонала активно муссируется в профессиональных кругах тренеров, консультантов и HR-менеджеров. Однако модели оценки во многом различны: часть из них направлена только на качественную оценку эффективности, часть включает также и количественную оценку.

Мы поставили целью показать различные модели оценки эффективности обучающих программ.

Начнем с рассмотрения самой известной модели Дональда Киркпатрика.

В 1959 г. американский исследователь Дональд Киркпатрик предложил четырех-уровневую модель оценки эффективности обучения, которая получила широкое распространение и сегодня является классической.

Рассмотрим уровни модели Д. Киркпатрика подробнее.

Направлен на выявление того, понравилось ли участникам обучение. Для оценки этого уровня используют стандартные анкеты. Основные темы вопросов в анкетах:

Это тот уровень, который измеряется чаще всего. Многие российские компании уже внедрили такую практику на сегодняшний день. К примеру, в нашей компании мы используем вопросник, состоящий из следующих частей.

1. Оценка содержания тренинговой программы (количество и характер игр и упражнений, необходимость полученных знаний и умений для рабочего процесса, баланс между отдельными частями программы, достижение учебных целей и т. д.). Примерные вопросы анкеты:

1. Какая часть тренинга будет наиболее полезна для вашей работы?

2. Какая часть тренинга будет наименее полезна для вашей работы?

3. Есть ли какие-либо темы, которые вы хотели бы включить в программу тренинга?

4. Какой частью тренинга вы бы пожерт-вовали ради включения интересующих вас тем?

5. Как бы вы в целом оценили программу?

6. Как вы оцениваете баланс между отдельными частями тренинговой программы (видеофрагментами, упражнениями, играми, кейсами, лекциями, дискуссиями)?

7. Как вы оцениваете продолжительность программы?

8. Достаточно ли времени было отведено на игры и обсуждения?

2. Оценка качества проведения тренинга, до- и посттренинговой работы (продолжительность программы, количество перерывов, эффективность посттренинговой оценки, качество оценки потребности в обучении, эффективность постановки целей и т. д.). Соответствующий раздел анкеты включает вопросы следующего типа:

1. В какой степени были достигнуты ваши личные цели в программе тренинга?

2. Какие из ваших личных целей не были достигнуты и почему?

3. Как вы оцениваете качество посттренинговой работы?

4. Как вы считаете, достаточно ли перерывов, сделанных в ходе тренинга, для отдыха в процессе обучения?

5. В какой степени, по вашему мнению, поставленные цели тренинга были достигнуты?

6. Как вы оцениваете качество проведенной посттренинговой работы?

3. Оценка тренера и его навыков (навык презентации, коммуникации, обратной связи, стиля ведения и прочее):

1. Оцените тренера по каждому из аспектов (по шкале: очень эффективно, хорошо, удовлетворительно, совершенно неэффективно):

4. Оценка качества организации тренинга (размещение, доставка, помещения для тренинга, качество раздаточных и презентационных материалов):

1. Как вы оцениваете количество выданных раздаточных материалов?

2. Как вы оцениваете количество презентационных материалов (видео, аудио, слайды, флипчарт)?

3. Как вы оцениваете качество презентационных материалов (видео, аудио, слайды, флипчарт)?

4. Как вы оцениваете размещение участников?

5. Как вы оцениваете помещение для тренинга?

6. Как вы оцениваете качество обслуживания (питание, кофебрейки)?

Для каждого из вопросов задается определенная шкала оценки, например, от 1 до 6 баллов, где каждый балл сопровождается словесным описанием.

Определяет, как изменились знания участников в результате обучения и изменились ли они вообще. Для оценки этого уровня используют специально разработанные тесты, опросники и задания, которые позволяют количественно измерить прогресс в компетенции или мотивации участников.

Также возможно провести наблюдение в процессе обучения, в частности, в ходе выполнения контрольных упражнений или ролевых игр, либо после обучающих мероприятий в ходе рабочего процесса.

Направлен на выявление изменений в бизнес-показателях компании в результате обучения. Данный уровень, как правило, является наиболее сложным для измерения, особенно, если учесть тот факт, что на показатели бизнеса влияют также и другие факторы, а изолировать их влияние практически невозможно.

Таким образом, модель Д. Киркпатрика, несмотря на простоту и удобство в использовании, страдает большой долей субъективизма и не предоставляет количественных показателей об эффективности обучения.

Расчет ROI позволяет:

Однако процедура вычисления ROI довольно трудоемка. Из-за трудности расчета ROI данный показатель рекомендуется измерять лишь в случае удовлетворения следующих показателей:

Формула для расчета ROI выглядит следующим образом: ROI =[(Доходы-Затраты)/Затраты] x 100%

Когнитивная сфера (знания)

1. Вспоминание информации

3. Использование на практике

4. Анализ информации (структуры/элементов)

5. Синтез (создание/построение)

6. Оценка (сравнение)

Эмоциональная сфера (установки)

1. Восприятие (осознание)

3. Оценка ценности (понимание и действие)

4. Сочленение (комбинирование, интеграция схожих навыков)

5. Усвоение системы ценностей (адаптация поведения)

Психомоторная сфера (навыки)

1. Имитация (копирование)

2. Управление (следование инструкциям)

3. Развитие точности, четкости

4. Организация личной системы ценностей

5. Натурализация (доведение до автоматизма, экспертное знание)

Каждая из трех сфер основана на предпосылке о том, что все категории внутри каждой сферы расположены строго в определенном порядке по степени нарастания сложности. Эти категории являются последовательными уровнями развития сотрудников в процессе обучения. В целом в практическом смысле модель похожа на модель Д. Киркпатрика. Она также требует составления по каждой из составляющих определенных вопросов, тестов или упражнений, но не дает финансовой оценки эффективности обучения.

Источник

Оценка эффективности обучения персонала

Обучение выгодно и самому работнику, получающему возможность:

Для чего необходимо проверять эффективность обучения персонала

Основные затраты на обучение и проведение мероприятий оценки:

Критерии результативности

Критериями результативности необходимо считать:

Как оценить отдачу от учебной подготовки

Основные оценочные показатели, используемые экспертами:

Проводя оценку, целесообразно разделить информацию на два компонента:

Для определения показателя ROI возможно применение различных методов, направленных на решение нескольких базовых задач:

Вместе с этим процесс вычисления ROI отличается значительной сложностью и трудоемкостью. Фактически определить искомые данные можно только при условии соблюдения нескольких условий:

Для определения ROI используется расчетная формула:

В свою очередь формирование суммарных затрат на организацию образования осуществляется из следующих категорий:

Для компании важно оценить, насколько эффективным было обучение вновь принятого персонала. Для этого можно использовать одну из нескольких существующих моделей. Основная, базовая модель принадлежит Дональду Киркпатрику. Потом ее дорабатывал Дж. Филипс. В компаниях зарубежных стран преимущественно используют иную модель, названную «Таксономия Блюма». HR-менеджеры, заинтересованные в проведении качественного обучения, могут использовать любую из указанных моделей.

Оценка на эффективность обучения персонала по модели Киркпатрика

Руководители юридических лиц могут использовать самые разные подходы, чтобы оценить эффективность проведенного обучения. Но наибольшей популярностью пользуется модель, разработанная Дональдом Киркпатриком. Автор еще в 1959 году издал книгу «Четыре ступеньки к успешному тренингу». Начиная с этого момента, методика постепенно обрела популярность. Она уже стала традиционной.

Анализ позволяет сделать вывод о том, что при увеличении числа уровней процедура оценки усложняется. Но при этом результат становится более точным. Четвертый уровень проверки по Киркпатрику настолько трудоемок, что расходы на его проведение превышают те, что необходимы на собственно на обучение. Сам автор признавал, что использовать четвертый уровень оценивания не всегда разумно именно из-за высоких расходов.

Проверка по модели Дж. Филипса

В 1991 году модель Киркпатрика была дополнена Дж. Филипсом. Он ввел еще один уровень — ROI. Он позволяет просчитать, насколько эффективны инвестиции в развитие, образование персонала. К данному моменту времени модель Дж. Филипса востребована повсеместно. Но она остается трудоемкой. На все расчеты потребуется несколько дней, если не недель.

Оценка по методу «Таксономия Блюма»

Модель, получившую такое название — Bloom’s Taxonomy — практически не используют в России. В составе модели можно выделить три перекрывающие зоны:

Между моделями Киркпатрика и «Таксономией Блюма» есть существенное средство. Но вторая модель не позволяет рассчитать с экономической точки зрения. Не получится и понять, насколько правильно HR-менеджеры выбирают программы для обучения сотрудников. Этот способ позволяет только установить, стали ли сотрудники более профессиональными, как результаты обучения влияют на деятельность компании.

Для оценки результата используют специальные формулы. Как вариант, можно исходить из практических результатов, полученных через некоторое время после проведения обучения. Придется подождать 6 или 12 месяцев после завершения обучения.

5 шагов, позволяющих оценить результативность обучения

Шаг 1. Постановка цели

HR-специалист должен понять, как использовать результаты оценки, для чего вообще проводить оценивание. И оценивать необходимо не только со своей точки зрения, но и учитывать позицию руководителя и обучающихся.

Например, HR-менеджер решил разобраться, какой эффект принесли тренинги, на которых рассматриваются возможности влияния и убеждения в коммуникациях. Руководитель компании в данном случае захочет узнать:

Работникам же важно, чтобы профподготовка позволяла с минимальными затратами получать желаемые показатели по KPI. Не менее важно, чтобы учеба позволяла повышать свою квалификацию, продвигаться по карьерной лестнице.

При составлении учебных программ обязательно нужно учитывать стратегические планы и цели юридического лица. Например, руководство планирует освоить рынок некоторого региона, увеличить прибыль, решить иные задачи, необходимые для достижения этих целей. Соответственно, работники в процессе учебы должны получать знания, необходимые для достижения заявленных целей.

Шаг 2. Выбор критериев

При выборе критериев важно исходить из того, что предстоит оценивать: непосредственно процессы тренингов, выбранных тренеров и лекторов, работников, полученные ими знания и т. д. Можно оценивать и все перечисленное. Но важно понимать, что при этом система оценивания будет становиться сложнее, потребуется больше критериев.

Для упрощения важно решить изначально, какую систему считать продуктивной, в чем это можно выразить. Также важно, чтобы о критериях проверки знали все, кто так или иначе участвует в учебном процессе: сотрудники, руководители, лекторы, HR-менеджеры.

Шаг 3. Выбор метода

На данном этапе необходимо сопоставить между собой разные методы оценки проведенного образования. Ранее приведено описание некоторых из этих способов, но на практике их существенно больше. Для каждого приема важно определить преимущества и недостатки, решить, удовлетворяет ли метод целям проводимой проверки.

Если в приоритете качество тренингов, важно выбирать методы, направленные на оценивание именно процессов профподготовки. Если же нужно знать, как учеба скажется на прибыли компании, нужны методики, оценивающие моненизацию получаемых навыков и знаний.

Шаг 4. Расчет бюджета

Оценивание методик учебы работников сопряжена с определенными расходами. И их нужно учитывать при выборе конкретного способа вне зависимости от того, кто будет проводить контроль: свои сотрудники или наемные эксперты. Некоторые методы достаточно трудоемки, их реализация сопряжена со значительными финансовыми затратами. Это означает, что непосредственно сама проверка может не окупиться.

Если же есть уверенность в необходимости применения некоторого способа, целесообразно провести изначально SWOT-анализ. Для каждого приема нужно выделить сильные и слабые его стороны. Важно знать, какие возможности они дают, какие угрозы несут. Далее уже полученные результаты можно представлять руководителю для принятия решения. Возможно, по результатам SWOT-анализа будет сделан вывод, что целесообразно использовать иные методики.

Шаг 5. Реализация выбранного способа

После того, как проведена проверка, результаты необходимо довести до всех участников тренингов.

Можно говорить об успешном проведении проверки, если свое мнение выразили все, кто причастен к обучению. Работники должны рассказать, что дала им подготовка, какие знания они получили, какой опыт удалось приобрести.

HR-специалисты, лекторы, тренеры, руководящий состав компании могут обмениваться информацией и совместно решать, как строить учебные программы. Можно работать по методике MW-Light, предпочесть практику, ориентироваться на системный подход или применять геймефикацию для закрепления результатов.

Источник