оценка курса обучения пример

Обучаем – оцениваем

Алена Симонова, консультант консалтинговой компании ITeam

Могут ли представители компании, прошедшие обучение, сами оценить его качество?

Какие показатели важны при оценке обучающего курса, как их рассчитать?

Е.Н. Ветлужских, заместитель директора по персоналу ООО «ТК «ЛИНКОТ», г.Екатеринбург

Комментарий эксперта ITeam: Измерение результативности отдельных учебных курсов – только один из возможных подходов к оценке качества обучения в организации. Он наиболее актуален, когда целью учебы является развитие «технических» умений и навыков.

Как правило, при этом сотруднику отводится достаточно пассивная роль в обучающем процессе – определили потребности в обучении, подобрали вариант обучения, посетил обучение, измерили результат.

Существует альтернативный подход к обучению и, соответственно, к измерению его эффективности. Перед человеком очерчивается контур корпоративных стандартов, и оценивается общее соответствие этим стандартам. Такой подход актуален прежде всего в компаниях, где успех зависит от свойств личности в целом, а не от владения узким функционалом. В этом случае вполне адекватным выглядит, например, решение выделить определенный бюджет и передать каждому специалисту полную ответственность за составление и реализацию собственной учебной программы.

В ООО «ТК “ЛИНКОТ”» обучение разделяется на краткосрочное (от 1 до 5 дней) и долгосрочное (несколько модулей по 3 дня). В зависимости от формы обучения используются различные методики оценки его результативности и эффективности.

Особенности организации процесса обучения

На начальном этапе исходя из целей предприятия и подразделения определяются задачи обучения. Далее в компании предпринимаются следующие шаги:

Заместитель директора по персоналу осуществляет контроль и координацию всех стадий организации процесса.

Оценка результативности обучения

Критерии результативности краткосрочного обучения

1. Удовлетворенность сотрудника, прошедшего обучение.

Для оценки сотрудники после обучения заполняют специальные анкеты (см. прил. 1) и сдают их в службу управления персоналом, в которой проводится анализ и расчет результативности по данному критерию, выявляются причины неудовлетворенности и делаются выводы.

2. Эффективность внесенных обучившимся предложений по усовершенствованию его профессиональных навыков, повышению эффективности деятельности сотрудника, отдела, подразделения или выполнение данным работником специального задания.

Сотрудник, прошедший обучение, выносит на рассмотрение руководства предложения по улучшению деятельности (отдела, подразделения) с учетом полученных знаний, которое оценивается с точки зрения эффективности. Другой вариант: служба персонала совместно с руководителем разрабатывает специальное задание в соответствии с целями пройденного обучения. Устанавливается срок его выполнения и далее оцениваются результаты.

3. Удовлетворенность руководителя результативностью обучения.

Непосредственный руководитель заполняет анкету результативности обучения (см. прил. 2), проводит оценку в баллах. Желательно это делать через 2–3 недели или месяц после обучения.

Подведение итогов оценки

Далее проводится анализ полученных данных (возможно сравнение результатов удовлетворенности обучившегося и руководства) и делаются выводы о качестве обучения. На заключительном этапе происходит анализ всех данных и дается окончательная оценка эффективности проведенного краткосрочного обучения.

Для подведения итогов оценки сотрудника можно использовать следующую последовательность действий:

*Затраты на обучение оцениваются исходя из его стоимости, суммы командировочных расходов и т. д.

Степень общей эффективности обучения устанавливается в результате оценки по всем критериям. Пример расчета результативности краткосрочного обучения приведен в таблице.

Таблица. Расчет результативности краткосрочного обучения

*Вес критериев определяется для каждой организации индивидуально. Сумма весов не должна превышать 1.

В будущем в компании ООО «ТК “ЛИНКОТ”» планируется проводить сравнение полученных показателей с общей результативностью деятельности сотрудников и по результатам вносить коррективы в методику оценки обучения и разработанные критерии.

Критерии результативности долгосрочного обучения

При долгосрочном обучении, помимо вышеописанных критериев краткосрочного обучения, дополнительно используются следующие.

1. Приобретение обучающимся необходимых знаний, навыков и качеств.

Для оценки приобретенных сотрудниками знаний возможно проведение экзамена. Лучше всего использовать профессиональные тесты (часто в организациях они разрабатываются непосредственными руководителями или ведущими специалистами в данной области деятельности). Оценка навыков и качеств вызывает определенные трудности. Во-первых, она должна проводиться через определенный период времени, например, через 1–2 месяца после обучения (в зависимости от должности и вида обучения). Во-вторых, для этого необходимо планировать финансовые и временные ресурсы (она довольно трудозатратна). Прежде чем оценивать навыки и качества после обучения, необходимо выявить степень их развитости до него и сравнить результаты. Кроме этого, важно определить сроки проведения оценки (через какой период времени после обучения).

В этих целях могут применяться оценка по методу “360 градусов” или обычные методики: кейсы, групповые и индивидуальные упражнения, наконец, ассессмент-центр.

2. Эффективность деятельности сотрудника, прошедшего обучение.

По этому критерию в компании оценивается результативность (эффективность) деятельности сотрудника после обучения, которая выражается:

Новым для компании стал расчет следующих показателей по оценке эффективности обучения за год:

1. Общая результативность обучения сотрудников предприятия:

где К1 – количество работников, обучение которых оценено как результативное, равное или выше установленного норматива (определяется по вышеперечисленным критериям); К2 – общее количество работников, прошедших обучение за данный период.

2. Эффективность обучения сотрудников предприятия:

где К1 – количество работников, обучение которых оценено как результативное; З – затраты на обучение в год.

Для того чтобы установить норматив эффективности обучения, показатели оценивались в течение нескольких кварталов. Важно анализировать их в динамике. Показатели ниже нормативных свидетельствуют о необходимости анализа и выявления причин такой результативности.

3. Для некоторых групп обучаемых можно посчитать возврат инвестиций в обучение. Для менеджеров по продажам это могут быть показатели роста прибыли, объема реализованной продукции (рассчитываются при отсутствии изменений во внешней среде, например, появления нового конкурента на рынке, резкого изменения спроса на продукцию), отнесенные к затратам на обучение.

Отчет об оценке результатов обучения может включать:

Приложение 1

Анкета оценки обучения

Участник обучения (Ф.И.О.) __________________________________________________

Подразделение, должность ___________________________________________________

Тема обучения ______________________________________________________________

Место проведения (город, учебное заведение)____________________________________

1. Оцените результативность обучения по 10-балльной шкале (1 – неудовлетворительно, 10 – отлично)

*Результативность обучения сотрудника (Рс, %) рассчитывается по формуле:

2. Ваши предложения по улучшению деятельности (отдела, подразделения) с учетом полученных при обучении знаний: ____________________________________________________________________

3. Оценка качества преподавания:

4. Ваши пожелания по совершенствованию обучения:

Дата __________________ Подпись________________

Приложение 2

Анкета оценки обучения

Участник обучения (Ф.И.О.) ______________________________________________

Тема обучения (семинара)________________________________________________

1. Оцените результативность обучения по 10-балльной шкале (1 – неудовлетворительно, 10 – отлично)

2. Какие еще знания, умения необходимы сотруднику для успешного выполнения его должностных обязанностей (ваши предложения по улучшению деятельности подразделения с учетом полученных на семинаре знаний): ____________________________________________________________

3. Какое еще обучение необходимо сотруднику (по какой тематике):

4. Ваши пожелания по совершенствованию обучения в организации:

Дата __________________ Подпись________________

Источник

Как оценить эффективность обучения?

Как оценить эффективность обучения?

Сейчас обучение персонала всё чаще становится непременным атрибутом успешной организации. В компаниях учат своих сотрудников практически всему: пользованию компьютерными программами, технике продаж, знанию товара, управлению людьми, тайм менеджменту и многому другому. Учат и собственными силами, учат и с помощью сторонних преподавателей. И, как правило, не обходится без затрат времени, денег и сил.

А потому хочется видеть результат обучения, оценить, насколько оно было полезным, эффективным.

А что именно оцениваем?

Мы можем оценивать преподавателя/тренера, участников обучения, учебную программу, работу учебного отдела или тренинговой компании.
Однако давайте сосредоточимся на результате/эффекте.
И чтобы оценить эффективность обучения, нужно четко понимать, какого именно эффекта мы ждём: что именно должно измениться, как именно измениться? Мы хотим, к примеру, сделать так, чтобы первостольники знали особенности конкретных препаратов, или хотим, чтобы они умели об этом рассказывать клиентам? Или мы хотим, чтобы обучение стало неким толчком, зарядило сотрудников энтузиазмом?
Чем более чёткое видение результату нас есть, тем проще потом оценить, что же получилось. (Более того, если мы это видение сможем согласовать с преподавателем / тренеров, то наши шансы на нужный результат существенно увеличатся.)

Весь процесс оценки эффективности тогда можно выстроить следующим образом:

Примеры: дать знания медикаментов; научить технике работы с возражениями

Примеры: легко объясняют клиенту разницу между препаратами; спокойно реагируют на возражения, задавая уточняющие вопросы

Примеры: когда клиент просит объяснить, чем отличаются препараты или когда предлагает новый препарат; когда клиент возражает

Примеры: тест знаний с вопросами на отличие препаратов; наблюдение за работой; статистика продаж нового препарата; опрос клиентов

Проводим оценку разработанными механизмами из п.4

Примеры: насколько изменилось знание препаратов; насколько чаще клиенты покупают новые препараты; насколько больше ситуаций, когда первостольники удачно разрешают возражения; насколько улучшились впечатления клиентов

Вы заметили, насколько разнообразными могут быть цели, результаты и методы оценки? Можно оценивать изменение уровня знаний, а можно оценивать увеличение продаж. Это про один результат или про разные? Чтобы разобраться в этом, давайте рассмотрим.

Модель Киркпатрика

Дональд Киркпатрик сформулировал 4 уровня оценки эффективности обучения:

Рассмотрим эти уровне подробнее, чтобы понять, как с помощью них получить ответ на вопрос «Какой результат от обучения мы получили?»

Уровень 1 – Как обучаемый относится к прошедшему обучению?

Мнение, реакцию обучаемого измерить сравнительно легко.

Неформально «пробу» такой реакции можно взять, понаблюдав за обучаемыми во время обучения, послушав разговоры в «курилке», приватно побеседовав с одним-двумя участниками.

Метод формального измерения — так называемые анкеты оценки, которые заполняют обучаемые либо сразу после обучения, либо через какое-то время. Анкета может содержать, например, такие вопросы:

Анкета может быть анонимной.

После заполнения анкеты обрабатываются для получения сводной статистики – получается достаточно полная картина «общественного мнение» и хорошее поле для анализа.

Преимущества метода:

Ограничения метода:

Оценку первого уровня сделать достаточно легко, однако она не даёт уверенного ответа на вопрос «Какой результат мы получили?»

Всё, что первый уровень позволяет уверенно оценить – это насколько довольны участники обучения. Если желаемый результат обучения был именно такой («чтобы все были довольны»), то этого уровня оценки достаточно.

Уровень 2 – Какие знания, умения и навыки приобрел обучаемый?

Оценка знаний, умений и навыков используется чрезвычайно широко в образовании, спорте и бизнесе. Это контрольные работы, экзамены, тесты, контрольные забеги, сдача нормативов и аттестации – всё, к чему у среднего человека отношение неоднозначное.
Для того, чтобы это неоднозначное отношение к экзаменам у среднего человека не превратилось в негативное отношение к участию оценке у нашего обучаемого, необходимо соблюсти важное условие: будущее обучаемого никак не должно зависеть от результатов оценки. Поскольку мы оцениваем эффективность обучения, а не участников.

Рассмотрим несколько наиболее используемых методов оценки второго уровня:

1. Тест знаний – перечень вопросов с несколькими вариантами ответов. Важно, чтобы вопросы имели однозначные ответы. Пример теста (фрагмент):

Чем отличаются препараты «Иммунал» и «Экстракт эхинацеи»?

Кроме того, необходимо следить за временем, и, извините, чтобы каждый участник заполнял тест самостоятельно.

Преимущества метода:

Ограничения метода:

2. Кейсы – письменные ситуации, в которых обучаемому предлагается описать своё поведение. Например:
Вы – консультант косметического отдела. К Вам подходит ухоженная женщина лет сорока и спрашивает, какие у вас есть средства по уходу за кожей век. Опишите подробно Ваши действия и слова при разных вариантах развития событий.
Важно, чтобы ситуация было описана достаточно четко и содержала всю необходимую информацию.

Преимущества метода:

Ограничения метода:

3. Тестовое задание – игровой метод оценки, в котором либо обучаемые выполняет задание, практически не отличающееся от рабочей ситуации. Например, делает операции на кассовом аппарате, выкладывает товар или общается с клиентом. Тестовое задание лучше проводить на рабочем месте.
Экзаменатор кратко описывает ситуацию и предлагает обучаемому максимально применить полученные навыки и умения. При этом экзаменатор может играть роль клиента (ролевой экзамен).
Экзаменатор старается создать непринужденную атмосферу игры, чтобы обучаемому было легко продемонстрировать навыки.

После игры экзаменатор делает пометки в специальном бланке с параметрами оценки (так называемый «чек-лист»).
Пример:
Экзаменатор: «Я клиент, подхожу к стойке с подгузниками. Помогите мне сделать выбор. Я подошел и Вы меня только что увидели.»

Пример чек-листа для этого случая:

Преимущества метода:

Ограничения метода:

Таким образом, для оценки второго уровня требуется больше усилий, но результат получить картину, имеющую большее отношение к реальности и сформировать дальнейший учебный план.

Уровень 3 – Как изменилось рабочее поведение обучаемого?

Именно на этом уровне чаще всего находится желаемый руководителем результат: «чтобы улыбались всем клиентам», «чтобы реагировали на сложных клиентов».
И именно начиная с этого уровня появляется большое влияние действий руководителя на результат. Именно он (часто через создание рабочей среды) влияет на то, будет ли человек работать «по старинке», забывая всё, чему учили, или же наоборот – попробует работать иначе, методом проб и ошибок оттачивая навыки в рабочих ситуациях.
Поэтому оценивая рабочее поведение, мы видим совокупный результат обучения и управления, действий преподавателя/тренера и руководителя.

Рассмотрим несколько методов:

1. «Тайный покупатель» — специально проинструктированные люди приходят в аптеку под видом обычных посетителей, и, выйдя их аптеки, делают пометки в чек-листе.
«Тайного покупателя» можно проводить с охватом: от одного на аптеку до трёх на каждого первостольника, и получить либо картинку по аптекам, либо по людям.

Преимущества метода:

Ограничения метода:

2. Формализованное наблюдение – руководитель наблюдает за работой подчиненных в тех ситуация, когда ожидается изменение поведения, и делает пометки в чек-листе.

Пример чек-листа для оценки эффективности тренинга продаж:

Преимущества метода:

Ограничения метода:

3. Опрос руководителей – непосредственному руководителю обучаемого предлагается оценить, стали ли действия подчиненного более «правильными». Можно использовать чек-лист, на котором оценивается поведение «в среднем», можно собирать подробные письменные ответы (« Скажите, как именно изменилось общение Иванова И.И. с клиентами после тренинга?»)

Преимущества метода:

Ограничения метода:

Таким образом, третий уровень даёт представление о том, как реально изменилось поведение персонала, но такая оценка требует серьезной интеграции с бизнес-процессами и серьезного вовлечения руководителей.

Уровень 4 – Какие изменения произошли в организации и/или в результатах работы обучаемого?

С одной стороны, этот уровень оценить достаточно просто, потому что, как правило, для любого сотрудника есть способ измерения результата – объем продаж, средний чек, количество выполненных задач, качество выкладки и другие показатели производительности.
С другой стороны, очень сложно бывает подобрать показатель, который будет свидетельствовать именно об эффекте обучения, и будет мало зависеть от остальных факторов.

1. Прямое измерение результатов
Например, если мы обучаем первостольников новой линейке препаратов, то показателем мы можем избрать объём продаж этой линейки после обучения.

Если мы учим сотрудников качественному сервису, и у нас в аптеке ведется мониторинг удовлетворенности покупателей (листы отзывов), то таким показателем может быть увеличение количества восторженных отзывов и снижение количества негативных.

Преимущества метода:

Ограничения метода:

2. Опрос руководителей – непосредственному руководителю обучаемого предлагается оценить, как изменились результаты деятельности сотрудника. (сравните с аналогичным методом третьего уровня).

Преимущества метода:

Ограничения метода:

Уровень 5 (добавление Джека Филипса к модели Киркпатрика) – Возврат на инвестиции

Этот подход основан на измерении финансового результата обучения.

ROI (return on investment) = дополнительная прибыль / затраты

Для того, чтобы подсчитать ROI, нужно ещё до обучения посчитать, какая прибыль будет считаться «дополнительной», полученной за счет обучения. Т.е. учесть вероятные внешние и внутренние факторы.

В затраты могут войти расходы по проведению самого обучения, денежный эквивалент времени, потраченного работниками компании для организации обучения, упущенная прибыль из-за невыхода персонала на работу в дни обучения, затраты на подсчет самого ROI.

Использование уровней оценки в практике

Как же всё-таки оценивать? Какие методы лучше применять?

В современной практике компании стараются совмещать максимум методов оценки. Очень многие используют методы оценки по первому и второму уровню. Достаточно часто используется «тайный покупатель». И единичные случаи подсчёта ROI.

Давайте рассмотрим несколько случаев обучения и методы оценки эффективности, дающие наибольшую отдачу в каждом случае.

Пример: обучение новому товару

Совмещаем уровни 2, 3, 4.
2 уровень. Тест на знание товара
3 уровень. Опрос руководителей: когда предлагают и что говорят
4 уровень. Статистика продаж нового товара

Пример: тренинг по работе с клиентами

Совмещаем уровни 1, 3, 4.
1 уровень. Анкета оценки
3 уровень. Тайный покупатель
4 уровень. Изменение длины среднего чека

Пример: обучение новой компьютерной программе

Совмещаем уровни 1, 2, 3.
1 уровень. Анкета оценки
2 уровень. Тестовое задание
3 уровень. Опрос руководителей: удалось ли подчиненным освоить программу?

Резюме

Для оценки эффективности обучения прежде всего необходимо чётко определить желаемый результат и способ его измерения.

Есть несколько наиболее просто используемых методов, которые можно сгруппировать по уровням модели Киркпатрика:

В статье использованы идеи, подходы и исследования Дональда Киркпатрика, Джека Филипса, Ральфа Тайлера, Мартина Шмаленбаха, Питера Друкера.

Источник