оценка эффективности дистанционного обучения
Эффективность дистанционного обучения
В данной статье мы рассмотрим следующие вопросы:
В обучении важен результат – экономически целесообразный, оправдывающий все ресурсы, затраченные этот процесс. Есть несколько методик определения того, насколько эффективно работает СДО (система дистанционного обучения). Ниже – наиболее распространенные из них.
1) Анкетирование
Самый простой, а потому самый популярный метод: с помощью опроса у участников обучения измеряется уровень удовлетворенности курсом, оценивается полезность, полнота и доступность учебных материалов. Анкетирование проводится сразу после завершения обучающих мероприятий. При этом опрос можно проводить не только среди обучаемых, но и среди их руководителей – они смогут ответить на самый важный вопрос: произошли ли изменения в работе сотрудников после обучения?
2) Тестирование
Тестирование, равно как и другие формы проверки знаний (практические задания, упражнения и т.д.), позволяет измерить то, насколько качественно усвоена информация из учебного курса. Тестирование полезно проводить в два этапа – сразу после обучения и через некоторое время, чтобы оценить остаточные знания. Иногда устраивают еще и предварительное тестирование, до начала обучения, чтобы замерить уровень знаний «до», а затем сравнить его с «после».
3) Анализ динамики индивидуальных показателей сотрудников
Если в компании ведется статистика каких-либо показателей труда, эти данные могут быть использованы для оценки влияния обучения на уровень развития навыков. Это могут быть: объемы продаж, количество допускаемых ошибок, число жалоб от клиентов, результаты Mystery Shopping (проверка работы сотрудников с помощью таинственных покупателей).
4) Анализ влияния обучения на бизнес-цели компании
Довольно сложный способ оценки эффективности СДО: нужно оценить связь обучающих курсов с такими показателями, как уровень удовлетворенности клиентов и сотрудников, качество выпускаемой продукции или предоставляемых услуг и проч. Трудность в том, чтобы отделить результаты обучения от влияния множества других факторов.
5) Бенчмаркинг
Относительно новый метод, суть которого в сравнении ключевых показателей эффективности с аналогичными показателями у конкурентов, особенно у лидеров отрасли. Главная сложность – редко какая компания раскрывает сведения о программе обучения сотрудников и ее результатах. Однако такие данные изредка озвучиваются на специализированных конференциях или упоминаются в профильных изданиях.
Оценка эффективности дистанционного обучения
Сложно представить себе современный мир без дистанционного обучения. И пусть это направление в образовании достаточно молодое, в последние годы популярность удаленных курсов, уроков и даже степеней MBA стремительно растет. Каждый год появляются сотни новых курсов, которые можно пройти как на платной, так и на бесплатной основе.
Например, такие образовательные порталы как Coursera, Stepik, Udemy, Нетология и пр. предлагают как платное (с получением сертификатов), так и бесплатное обучение по всевозможным специальностям.
Что такое e-learning
E-learning – это современный подход к образованию, основанный на использовании информационных технологий. По определению ЮНЕСКО, «e-Learning — это обучение с помощью интернета и мультимедиа».
Дистанционное обучение позволяет расти и развиваться, получать новые знания и навыки. Благодаря e-learning можно максимально быстро и эффективно повышать уровень компетенций большого количества людей при минимальных затратах.
Преимущества дистанционного обучения:
Методы и критерии оценки эффективности Дистанционного обучения
Цель любого обучения – это результат. И этот результат должен оправдывать финансовые, временные и другие ресурсные затраты. Существует ряд методик оценки эффективности дистанционного обучения. Наиболее распространенные включают:
Анкетирование
Это наиболее простой способ получения информации о курсе или образовательной программе, которую прошел человек. Анкетирование можно проводить как среди обучаемого персонала, так и среди руководителей, так как именно они первые видят результат.
При помощи анкетирования можно получить следующие данные:
Тестирование
Тестирование или любой другой вид экзаменирования – это один из эффективных способов оценки эффективности дистанционного образования, количества и качества получаемых знаний. Рекомендуется проводить тестирование три раза:
Предварительное – для получения представления об имеющихся знаниях;
Итоговое – для получения информации о полученных знаниях;
и Проверочное – для получения информации о том, какие знания были усвоены и применяются на практике.
Анализ роста индивидуальных показателей
Эффективность дистанционного обучения можно хорошо проследить по анализу роста индивидуальных показателей сотрудников. К таким показателям относятся:
Отслеживание этих показателей является неотъемлемой частью эффективного управления компанией. Наиболее простой способ получать готовую аналитику данных – это использование программы мониторинга персонала. Так, StaffCounter позволяет отслеживать все вышеуказанные показатели и обеспечивает руководителя готовыми инфографиками и статистикой.
Анализ влияния результата обучения на достижения бизнес-целенй компании
Использование e-learning для достижения бизнес-целей компании – распространенная и популярная практика. В зависимости от эффективности дистанционного обучения получается улучшить все показатели и, соответственно, достичь или приблизиться к достижению целей компании.
Среди показателей эффективности дистанционного обучения и его влияния на конечный результат отмечают:
Сравнение ключевых показателей с показателями конкурентов
Бенчмаркинг – сравнительно новый показатель в анализе эффективности дистанционного обучения. К тому же, получение показателей эффективности других компаний – затруднительный процесс, так как такую информацию чаще всего выкладывают в свободный доступ только большие корпорации.
—
Использование этих критериев оценки эффективности дистанционного обучения необходимо для четкого понимания оправданности вложения средств, времени и других ресурсов. Развитие и обучение персонала должно приводить к результатам, которые положительно будут сказываться на производительности труда всех отделов, а также на достижении бизнес-целей компании.
МЕТОДИКА ОЦЕНКИ ЭФФЕКТИВНОСТИ ДИСТАНЦИОННОГО ОБУЧЕНИЯ В ОБРАЗОВАТЕЛЬНОМ УЧРЕЖДЕНИИ
МЕТОДИКА ОЦЕНКИ ЭФФЕКТИВНОСТИ ДИСТАНЦИОННОГО ОБУЧЕНИЯ В ОБРАЗОВАТЕЛЬНОМ УЧРЕЖДЕНИИ
Магистрант федерального государственного бюджетного
образовательного учреждения высшего образования
«Московский педагогический государственный университет»
Аннотация. В Связи со сложившейся ситуацией в стране, учебные заведения были вынуждены перейти на дистанционное обучение. Данный вид обучения предполагает удаленное получения образования при помощи использования цифровых ресурсов и информационных технологий. Для того, чтобы понять качественно ли построено обучение, нужно провести оценку его эффективности. Существует несколько методов оценки дистанционного обучения, но, в своем большинстве, они ориентированы на обучение сотрудников компаний. Если взять за основу одну из таких методик, то ее можно применить конкретно для оценки дистанционного обучения в образовательном учреждении.
Ключевые слова: педагогика, дистанционное обучение, методика оценки эффективности обучения, модель оценки эффективности.
EFFICIENCY ASSESSMENT METHOD OF DISTANCE LEARNING IN EDUCATIONAL INSTITUTION
Abstract. Because of the current situation in the country, educational institutions have been forced to move to distance learning. This type of education involves remote training using digital resources and information technologies. We have to evaluate the efficiency of training in order to understand whether the training is well structured. There are some methods of the distance learning assessment but for the most part they are focused to train employees in companies. If we take one of these methods as a basis, it can be applied to assess distance learning in an educational institution.
Keywords: pedagogics, distance learning, efficiency assessment method of education, efficiency evaluation model.
В данной статье описаны существующие методики оценки эффективности обучения. Также предлагается свой подход к оценке дистанционного обучения в образовательном учреждении на основе одной из самых популярных методик.
В наше время прогресс не стоит на месте, постоянно происходит развитие цифровых ресурсов и информационных технологий. Дистанционное и онлайн-обучение все более обретает популярность. Особенно такая форма обучения актуальна сейчас, в условиях пандемии, когда все образовательные учреждения были вынуждены перейти на удаленное обучение.
Помимо методик оценки эффективности данного обучения, в данной статье, мне бы хотелось рассмотреть основные плюсы и минусы, цели и само понятие дистанционного обучения, с которого я и начну.
Что же такое дистанционное обучение? Обратимся к словарю: “Дистанционное обучение (ДО) — взаимодействие учителя и учащихся между собой на расстоянии, отражающее все присущие учебному процессу компоненты (цели, содержание, методы, организационные формы, средства обучения) и реализуемое специфичными средствами Интернет-технологий или другими средствами, предусматривающими интерактивность” [wikipedia].
Другими словами, это такой вид образования, при котором обмен учебной информацией происходит на расстоянии при помощи современных информационных технологий и интернета.
Самой главной задачей, которую ставит перед собой данный вид обучения – это дать возможность обучения и получения разного уровня образования людям с ограниченными возможностями, также людям, у которых нет возможности очно присутствовать на обучении, в связи с удаленным местоположением.
Но у данной формы обучения, конечно, есть ряд своих преимуществ и недостатков.
Итак, среди множества плюсов, можно выделить следующие:
• Мобильность. Позволяет преподавателю и учащемуся выстроить грамотную обратную связь, которая способствует успешности процесса обучения. С помощью современных цифровых инструментов обучение может происходить и дома, и в кафе, и в путешествии.
• Гибкость. Время для занятий, скорость изучения материала, график занятий ученик вправе выбрать сам, исходя из своих возможностей и потребностей.
• Доступность. Возможность получать образование дистанционно, независимо от географического положения благодаря информационным и телекоммуникационным технологиям. Из любого города, страны, можно получить образование в любом ВУЗе мира.
• Экономия временных и денежных ресурсов. Благодаря мобильности, не тратится время на дорогу до учебного заведения, что значительно увеличивает время на самообразование. Также, по стоимости, дистанционное обучение значительно дешевле очного.
• Равные образовательные возможности, социальное равноправие. Получение образования людям, независимо от их социального и материального статуса. Людям с ограниченными возможностями здоровья и жителям удаленных населенных пунктов.
• Возможность параллельного получения дополнительного образования.
Теперь речь пойдет о главных минусах такого обучения:
• Техническая оснащенность. Не у всех есть возможности приобретения цифровых инструментов и доступа в интернет. Также в этот пункт можно добавить компьютерную грамотность.
• Отсутствие мотивации и самоорганизованности. Данный вид обучения требует самодисциплины.
• Нельзя превышать допустимые нормы нахождения за компьютером.
• Отсутствие очных занятий, как следствие, отсутствие возможности воспитательной части обучающихся.
Дистанционное обучение построено определенным форматом. Самое главное это самостоятельная работа обучающихся по заданной программе, поэтому важным критерием успеха является жесткая самоорганизованность.
Преподаватель разрабатывает программу или курс на платформе, проводит очные встречи и консультации через инструменты видеоконференцсвязи, ведет обратную связь через электронную почту, дает домашние задания. Проводит проверку и оценку полученных знаний. Процесс обучения может включать в себя участие в вебинарах, различных онлайн-конференциях.
Что же такое эффективность? С педагогической точки зрения, само определение эффективности учебного процесса включает в себя эффективность проводимых занятий, методов, инструментов, используемых при построении обучения и т.д.)
В процессе создания курса, дальнейшего мониторинга качества полученных знаний и самого оценивания эффективности обучения, нужно ответить на следующие вопросы: основные достоинства и недочеты курса; навыки, которые ученики формируют в процессе обучения; полученные знания и применения их на практике; соответствует ли заданное время обучения материалам курса; удобность использования курса; эффективны ли методы преподнесение материала; как можно улучшить курс и т.д.
Ответы на перечисленные вопросы помогут улучшить обучение и сделать его более восприимчивым для учащихся.
Как же можно оценить эффективность дистанционного обучения? Один из самых популярных методов оценки был предложен в 1954 году Дональдом Киркпатриком. Он создал модель, включающую в себя 4 уровня оценки знаний:
Первый уровень отвечает на вопрос понравилось ли учащимся обучение. (Оценка может происходить с помощью реакций, интервьюирования или с помощью фокус-групп).
Второй уровень показывает насколько усвоены полученные знания (При помощи теста или опросника).
Третий уровень описывает изменения поведения участников обучения, применения полученных знаний на рабочем месте (Оценка происходит с помощью наблюдения, контрольного листа поведения).
Четвертый уровень рассказывает об экономической результативности обучения. При помощи замеров начальных показателей и конечных.
Также существует пятый уровень:
Его позже разработал Джек Филлипс. Он предложил рассчитать величину возврата вложенных средств и понять стоило ли делать вложение в данное обучение.
Данная модель подходит для рассчета эффективности дистанционного обучения сотрудников в бизнес-компаниях. Но, на мой взгляд, эту же методику можно применить и при оценке дистанционного обучения в образовательном учреждении.
Я предлагаю взять за основу первые два уровня, чтобы данная методика подходила для оценки дистанционного обучения в образовательном учреждении. Оценку можно проводить двумя способами.
Первый способ предполагает постоянный мониторинг и проведение оценки на всех этапах обучения. Данный способ позволяет выявить недочеты в организации обучения, курсе, исправить недостатки в процессе. Добавить недостающие компоненты или убрать лишнее. В результате, учебный процесс выстраивается под потребности учеников.
Второй способ предполагает оценку конечного результата. Т.е. оценка проводится по завершении обучения.
Для оценки первого уровня методики, можно использовать следующие способы:
• Анкетирование. Самый популярный способ. Проводится по окончании урока. Ученикам раздаются анкеты с вопросами об удовлетворенности обучения. Опрос можно проводить не только среди учеников, но и среди родителей обучающихся (для дошкольного образования или начального образования).
• Опрос. Его можно разместить, например, на платформе Moodle. Составить интересующие вопросы по курсу с несколькими вариантами ответов и попросить учеников пройти его.
Для оценки второго уровня:
• Тестирование. Можно провести до и после обучения (чтобы провести сравнительную оценку полученных знаний). Тест показывает насколько усвоена информация. И закрепление усвоенного материала.
• Сравнение качества обучения контрольных групп. Можно рассмотреть насколько эффективно дистанционное обучение путем сравнения двух групп участников. Одна категория участников будет обучена путем традиционного очного обучения, другая с помощью дистанционного. В конце обучения провести тест и сравнить полученные знания у двух групп участников.
В заключение, можно сказать, что если рассматривать обучение с помощью дистанционных технологий не как замену традиционному очному, а как предоставление дополнительных возможностей, то такое обучение имеет массу плюсов.
1. Гаус, И.В. Организация дистанционного обучения в образовательном учреждении 19.05.2019
2. Голубь, А.А. Актуальность модели Д. Киркпатрика как инструмента оценки эффективности обучения персонала, Символ науки № 5/2019
3. Заковранова, А.Ф. Всероссийский семинар «Методика работы с учебными материалами онлайн-платформ для дистанционного обучения» 25.03.2020
4. Киркпатрик, Д.Л. Четыре ступеньки к успешному тренингу: практическое руководство по оценке эффективности обучения, Эйч Ар Медиа, 2008. — 128 с.
Как оценить эффективность онлайн-курса
Рассказываем о важных метриках и частых ошибках, а также о том, для чего нужен методический аудит и как его провести.
Марина Литвинова
Директор по продукту, преподаватель и ментор в EdMarket. Ментор акселератора «Нетологии». Автор курса «eLearning: от стратегии внедрения до разработки контента и оценки эффективности», книги «Архитектура корпоративного онлайн-обучения» и Telegram-канала «PRO онлайн-обучение».
Разработчики онлайн-курсов стремятся к тому, чтобы обучение было полезным и увлекательным. Как понять, что желаемый результат достигнут? Это не всегда очевидно, и без конкретных метрик невозможно принять взвешенное решение, стоит ли оставить всё как есть, поработать над улучшением курса или вообще закрыть его и не тратить ресурсы понапрасну. Причём часто от ответа на этот вопрос зависит судьба не только одного курса, но и целой линейки продуктов.
Получается, что без оценки эффективности не обойтись. Расскажем, что она в себя включает, какие метрики можно оценить и каких ошибок следует избегать.
Редакция «Образование» Skillbox Media
Онлайн-журнал для тех, кто работает или хочет работать в сфере образования. Рассказываем о трендах, теории и полезных практиках.
Что входит в оценку результатов обучения
Для оценки эффективности необходимо провести несколько важных действий:
В зависимости от того, что показали метрики, надо принять решение о дальнейшей судьбе курса (оставить как есть, убрать, поменять формат, содержание, периодичность наборов и так далее). Если решено доработать курс, то составить план изменений можно на основе собранной обратной связи.
По каким метрикам оценивается образовательный продукт
Перед тем как говорить о метриках качества образовательного продукта, стоит определиться, с какой позиции мы смотрим на курс, потому что студент, методист и организатор обучения могут оценивать его успешность по-разному.
С точки зрения студента, курс полезен, когда позволяет достичь цели, ради которой он был приобретён. Обычно эта цель находится за границами обучения: например, получить повышение или сменить профессию.
С точки зрения методиста, курс успешен, когда после обучения произошли изменения установок и поведения человека, которые можно измерить. Например, после прохождения курса по программе Excel сотрудники стали тратить на операции с формулами на 30% меньше времени.
С точки зрения организатора обучения, образовательный продукт эффективен, когда ресурсы, которые вложены в его создание и сопровождение, соразмерны выгоде, полученной в результате.
Когда речь идёт о корпоративном обучении, желаемые результаты для методиста и организатора обучения совпадают: заказчик (например, руководитель компании) заинтересован в том, чтобы сотрудники после прохождения курса или тренинга стали работать эффективнее и чтобы затраты на обучение были экономически оправданы.
Допустим, мы определились, с чьей точки зрения будем измерять успешность образовательного продукта. Посмотрим, что можно измерить.
Учебные метрики
Метрики сопровождения процесса обучения
Метрики эффективности образовательного продукта
Отдельно стоит поговорить о метриках эффективности корпоративного обучения. Для этого рекомендуем использовать модель Киркпатрика — Филлипса :
Множество инструментов для сбора данных и анализа метрик входят в базовую функциональность LMS-платформ. Для оценки CSI, NPS и других показателей, которые требуют обратной связи, можно использовать «Google Формы», Mentimeter и другие анкетные сервисы, помогающие оценить впечатления от курса или отследить реакцию на тот или иной его элемент.
Какие ошибки часто допускают при оценке обучения
Есть два наиболее типичных упущения, на которых многие спотыкаются:
Что такое методический аудит, зачем и как его проводят
Существует очень много курсов, которые были разработаны без понимания специфики онлайн-обучения и знания методик педдизайна. Их создатели, разумеется, хотят улучшать показатели эффективности, но как это сделать — не всегда очевидно. Многие обращаются за услугой методического аудита. Это задача на стыке методологии, маркетинга и бизнеса, интересов студента и организатора обучения.
Чтобы качественно провести аудит курса, методист должен обладать профессиональным опытом и насмотренностью, которую лучше всего развивать под руководством наставника. Также очень важно заранее прояснить вводные данные, иначе методист может сфокусироваться на теориях обучения и проектирования онлайн-курсов, тогда как заказчик мыслит совершенно в других категориях. Среди целей заказчика могут быть, например, такие:
Чек-лист: как провести методический аудит онлайн-курса
Допустим, вы хотите самостоятельно провести аудит своего курса либо к вам обратились с такой просьбой в отношении чужого курса. Мы составили чек-лист из вопросов, которые помогут провести проверку, и конкретных данных, которые нужно собрать для оценки. Они структурированы по семи блокам — фактически по ним и проводят оценку курса.
1. Понимание целевой аудитории курса организаторами обучения.
Посмотрите анкеты участников курса, результаты кастдева, изучите собранную от выпускников обратную связь. Это покажет, насколько чётко курс ведёт к нужным результатам конкретную целевую аудиторию с определёнными знаниями, навыками и возможностями учиться.
2. Методическая концепция курса и логики обучения.
3. Образовательная среда курса.
4. Качество образовательного контента.
5. Качество практических занятий.
6. Данные, полученные за время обучения предыдущих потоков.
7. Сопровождение обучения
Как распределены роли в сопровождении курса и достаточно ли ресурсов для масштабирования — запуска новых потоков, одновременного обучения нескольких потоков студентов?
Методический аудит может обнаружить недостатки, устранить которые довольно просто, но может выявить и ошибки, на исправление которых нужно много времени и других ресурсов. После того как методист озвучит свои рекомендации, заказчик, как правило, принимает решение о судьбе курса. Если выбирается доработка образовательного продукта, заказчик может внести изменения самостоятельно либо снова привлечь методиста. Важно отметить, что работа над улучшением курса — отдельная задача, которую ни в коем случае не стоит смешивать с аудитом.