Архив метки: качество в e-learning

Аналитика и качество обучения

#аналитикаобучения #данные #качествообучения #xapi

Последнее время тема аналитики обучения и оценки качества получила новое дыхание. Далее попробую пояснить почему это происходит сейчас и почему вопрос так и не решился раньше.

Разговоры об оценке качества и результата обучения выдуться постоянно с разной интенсивности и это что-то вроде поиска «святого грааля» в нашей сфере или «изобретения вечного двигателя» – кто-то этим обязательно занимается, но большинство не верят в реальность.

Если говорить про онлайн-обучение, то раньше ссылались на недостаток данных передаваемых SCORM. Ребята из ADL услышали это и подарили миру шанс в виде новых стандартов и спецификаций – TinCan/xAPI и CMI5. Теперь данные можно собирать почти неограниченно – и каждое действие ученика и контекст. Очень быстро и доходчиво понять суть этого революционного подхода можно в этом ролики от iSpring: https://www.youtube.com/watch?v=-tD38Q1d4rU

Только эта «революция» случилась почти 10 лет назад, но что-то мы так и не наблюдаем массового использования этих стандартов и оценки качества обучения на базе собранных данных. Подавляющие большинство компаний продолжают использовать SCORM и не сдвинулись дальше анкет остаточных знаний, NPS (это продвинутые!) и тестов остаточных знаний для оценки обучения. Что же пошло не так? Сложно обрабатывать такие массивы данных? Так примерно с того же времени для этого есть нейросетки и машинное обучение.

Неплохо про часть причин такого положения в статье от WebSoft: http://blog.websoft.ru/2019/12/xapi-cmi5.html

Мне видится, что одна из корневых причин такой ситуации в том, что и корпоративному обучению и академическому, пока ещё не особо надо реально оценивать свою эффективность. Используя простые и понятные цифры про количество обученных, доходимость и NPS можно и так делать очень красивые отчётные презентации.

Когда я в прошлом году в очередной раз попытался сделать и внедрить онлайн-курс на базе CMI5, то с удивлением обнаружил, что все подрядчики, с которыми я работал такие курсы делать не умеют (не было заказов) и заявленный модуль поддержки в LMS, тоже пока только «заявлен» и надо ждать обновления. В этом году это всё же случилось, но…кажется появление такого курса оказалось никому не интересным.

Есть конечно направления, где xAPI находит своё применение, например, в сложных симуляторах, но это скорее исключения подтверждающие правила: https://habr.com/ru/post/551374/

Так что же случилось, что аналитика снова в тренде? А случился бурный рост рынка EdTech и онлайн-школ. Случилось насыщение (почти) рынка платного онлайн-образования. И тут уже крупные игроки посмотрели на эту задачу с прагматической точки зрения. Если им нужна игра в долгую, то качество их обучения становится ключевым фактором. Их студенты не только должны доходить курс и оставлять радостные отзывы (что уже хорошо), но еще и оказываться потом конкурентными на рынке труда и успешно применять полученные навыки.

Кажется первыми двигаться в э этом направлении начали делать SkyEng, но сейчас я с огромным удовольствием и предвкушением наблюдаю за тем что делает талантливый Дмитрий Аббакумов (https://web.facebook.com/abbakumovdf) в Яндекс.Практикум. Кажется, тут может получится настоящая революция в сфере аналитики обучения и оценке его качества.

Ищите качество!

Павел Безяев и Команда Digital Learning

О качестве e-learning: как сравнить два курса?

paranoyaНедавняя публикация «Биржа контента и рейтинги. Кому-то нужен открытый рынок e-learning?» вызвала некоторую дискуссию в сообществе e-learning на тему наличия критериев и способов сравнения качества электронных курсов. Сначала появилась информация о том, что есть критерии для так называемого «идеального курса», но потом выяснилось, что все еще очень не просто.

 

 

Во-первых, предложенные критерии:

1) формулировка целевой функции (глобального критерия оптимальности);

2) составление перечня форм и средства реализации/поддержки учебного процесса с применением ДОТ;

3) назначение весовых функций по предложенному перечню;

4) оценка предложенных вариантов курса;

5) выбор идеального курса в соответствии с выбранной целевой функцией.

Для меня эти критерии звучат очень абстрактно. Какой может быть анкета по этим критериям, и кто ее будет заполнять? Если с первым еще есть шанс увидеть какие-то примеры от Юрия Николаевича Белоножкина, то с экспертами получается тупик:

«Павел, у меня был более сложный и более структурированный опрос. Если видели мой отчет по этой теме, то у меня целые группы показатели, показаны в многочисленных графиках, и тоже на основе оценок самих обучаемых. При этом практический инструмент тоже показан без всяких “коней в вакууме”.

Что касается экспертных оценок, то проблема не в их отсутствии, а организации работы с ними. Хорошим экспертам надо платить или искать тех, которые согласятся работать за спасибо. Вот и вся практическая идея»

Обязательно посмотрю предложенную анкету, но пока не вижу, как это приблизит к решению практической задачи. К примеру, вот такой:

«1. Заказчику нужен курс. К нему пришли три провайдера – два готовы этот курс за 300-400 т.р. сделать, а один заявляет, что все будет готово и за 100 т.р. Как заказчику сделать выбор?

2. Заказчик выбрал, конечно, того что за 100 т.р. Курс как-то не впечатлил. В другой раз выбрал того, что за 400. Курсы тоже не всех удовлетворил, хотя конечно выглядел “дороже”. Как сравнить эти курсы? Кого выбрать в следующий раз? При этом будем считать, что никаких своих экспертов у заказчика нет… Пока есть понимание, что кроме ОС от сотрудников и руководителей и некой субъективной оценки специалистов учебного центра Заказчика, больше никаких способов сравнения качества интерактивных курсов не придумано…»

Упростил, как мог…

Попробуем разобрать, какие у нашего Заказчика есть варианты.

1) Если это первый опыт привлечения провайдеров для разработки курса, то можно обратиться за помощью к консультанту, только вот далеко не все компании знают, где такого найти (чтобы хоть немного был независимым от какого-то из провайдеров и при этом с достаточным опытом).

2) Можно в первый раз обратить внимание на опыт провайдеров и попросить контакты прежних клиентов. Шансы существенно увеличиваются, но риски все равно остаются – может у провайдера уже вся команда поменялась или у них за тот же результат ставки в несколько раз выше, чем у хорошей, но начинающей компании. Да, и смогу ли бывшие клиенты дать объективную оценку качества сделанных им курсов? А если Заказчику дать примеры – как ему сравнить их самому?

3) Пусть в первом случаем пришлось рискнуть. Пусть мы уже поработали и с дорогим и с дешевым провайдером и можем сравнить эффективность и качество самостоятельно. Как?

Можно для начала собрать обратную связь со всех обучающихся (довольно распространенная практика). К, примеру, в WebTutor можно так настроить курсы, чтобы они не считались завершенными, пока не будет заполнена анкета, ну и отчеты тоже можно сделать удобные, так что весь процесс будет автоматизирован.

Вот пример анкеты, которую я когда-то разработал для этих целей:

* Ваше общее впечатление от курса? (Оценка: 1 min – 10 max; 1 – Нет … 10 – Понравился):

* Полезность: Если курс предназначается для Вас – он может быть полезен для реальной работы/жизни? (Оценка: 1 min – 10 max; 1 – Нет … 10 – Понравился):

* Логика и простота: Информация была предложена Вам системно, логично и просто для понимания? (Оценка: 1 min – 10 max; 1 – Полный хаос … 10 – Логично и просто):

* Полнота информация: Информация в курсе соответствует действительности? (Оценка: 1 min – 10 max; 1 – Вся информация неверная … 10 – В курсе верная информация):

* Вы изучали курс увлеченно и с удовольствием? (Оценка: 1 min – 10 max; 1 – Очень скучно … 10 – Увлекательно):

* Считаете ли Вы, что данный курс был назначен вам по ошибке? (Да/Нет) (если да, то прокомментируйте, пожалуйста):

Ваши комментарии по курсу (ошибки, проблемы, находки и т.п.):

Если курс “идеальный” или близок к этому, то средняя оценка по всем вопросам должна быть не ниже 9. Если где-то ниже, то есть повод для анализа. В любом случаем, у нас появляются хоть какие-то объективные данные для сравнение курсов и провайдеров. Но, одно дело, если по курсы одного провайдера будут получать стабильную 9, а другие – 6, а что если оба курса где-то на 8?

4) Можем пойти дальше (следующий уровень модели Кирпатрика) и автоматизировать сбор обратной связи с руководителей сотрудников, прошедших обучение. Примеров под рукой нет, но сделать это вполне возможно. Можно ли тогда будет считать, что мы смогли объективно сравнить электронные курсы и у нас нет риска, что мы будем переплачивать или покупать дешевые пустышки?  Ясно, что это некоторая степень объективности в этом появится, но все же есть риск, что выбрано будет что-то яркое и веселое, а руководители будут субъективными. В таком сравнении не хватает чего-то более фундаментального связанного именно оценкой того, насколько эффективно курс решает поставленную задачу и приводит Заказчика к цели. И главное, чтобы эту оценку можно было провести достаточно просто (без интеграций с ERP системой и попыткой выявить корреляцию коммерческих показателей с прохождением электронного курса). Пусть это будет некий чек-лист, который можно заполнить, сравнивая курсы от двух провайдеров, а еще лучше некий ресурс в Интернет в котором такой чек-лист заполняется в интерактивном режиме, и сразу выдаются какие-то рекомендации. Возможно ли такое?..

А если развить идею Юрия Николаевича и создать ресурс, на который любая копания (вуз?) может разместить курс для оценки. Модератор этого ресурса настраивает критерии оценки, для каждого курса исходя из заданных шаблонов и специфики самого курса. После этого экспертное сообщество производить оценку на основании заданных критериев. При этом должен быть некий механизм отбора этих экспертов и рейтинги, мотивирующие их на активность в плане оценки. Самое сложное в этом – паранойя наших компаний и вузов относительно секретности и  ценности их контента. Всюду мнятся конкуренты, крадущие идеи. Можно сделать так, что курс будут видеть только допущенные эксперты, при этом экспертов может отбирать тот, кто загрузил этот курс. Можно даже в теории уговорить экспертов подписать какие-то соглашения о неразглашении, но чем больше разных заморочек, тем меньше шансов, что такой ресурс когда-то заработает. Но было бы замечательно – экспертный рейтинг курса + оценка от обучающихся и руководителей и мы уже приближаемся к реальной оценке качества электронных курсов.

Вопрос: кто хочет создать такой ресурс? 🙂

Готов участвовать!

Удачи!

Павел Безяев