О качестве e-learning: как сравнить два курса?

paranoyaНедавняя публикация «Биржа контента и рейтинги. Кому-то нужен открытый рынок e-learning?» вызвала некоторую дискуссию в сообществе e-learning на тему наличия критериев и способов сравнения качества электронных курсов. Сначала появилась информация о том, что есть критерии для так называемого «идеального курса», но потом выяснилось, что все еще очень не просто.

 

 

Во-первых, предложенные критерии:

1) формулировка целевой функции (глобального критерия оптимальности);

2) составление перечня форм и средства реализации/поддержки учебного процесса с применением ДОТ;

3) назначение весовых функций по предложенному перечню;

4) оценка предложенных вариантов курса;

5) выбор идеального курса в соответствии с выбранной целевой функцией.

Для меня эти критерии звучат очень абстрактно. Какой может быть анкета по этим критериям, и кто ее будет заполнять? Если с первым еще есть шанс увидеть какие-то примеры от Юрия Николаевича Белоножкина, то с экспертами получается тупик:

«Павел, у меня был более сложный и более структурированный опрос. Если видели мой отчет по этой теме, то у меня целые группы показатели, показаны в многочисленных графиках, и тоже на основе оценок самих обучаемых. При этом практический инструмент тоже показан без всяких «коней в вакууме».

Что касается экспертных оценок, то проблема не в их отсутствии, а организации работы с ними. Хорошим экспертам надо платить или искать тех, которые согласятся работать за спасибо. Вот и вся практическая идея»

Обязательно посмотрю предложенную анкету, но пока не вижу, как это приблизит к решению практической задачи. К примеру, вот такой:

«1. Заказчику нужен курс. К нему пришли три провайдера — два готовы этот курс за 300-400 т.р. сделать, а один заявляет, что все будет готово и за 100 т.р. Как заказчику сделать выбор?

2. Заказчик выбрал, конечно, того что за 100 т.р. Курс как-то не впечатлил. В другой раз выбрал того, что за 400. Курсы тоже не всех удовлетворил, хотя конечно выглядел «дороже». Как сравнить эти курсы? Кого выбрать в следующий раз? При этом будем считать, что никаких своих экспертов у заказчика нет… Пока есть понимание, что кроме ОС от сотрудников и руководителей и некой субъективной оценки специалистов учебного центра Заказчика, больше никаких способов сравнения качества интерактивных курсов не придумано…»

Упростил, как мог…

Попробуем разобрать, какие у нашего Заказчика есть варианты.

1) Если это первый опыт привлечения провайдеров для разработки курса, то можно обратиться за помощью к консультанту, только вот далеко не все компании знают, где такого найти (чтобы хоть немного был независимым от какого-то из провайдеров и при этом с достаточным опытом).

2) Можно в первый раз обратить внимание на опыт провайдеров и попросить контакты прежних клиентов. Шансы существенно увеличиваются, но риски все равно остаются – может у провайдера уже вся команда поменялась или у них за тот же результат ставки в несколько раз выше, чем у хорошей, но начинающей компании. Да, и смогу ли бывшие клиенты дать объективную оценку качества сделанных им курсов? А если Заказчику дать примеры – как ему сравнить их самому?

3) Пусть в первом случаем пришлось рискнуть. Пусть мы уже поработали и с дорогим и с дешевым провайдером и можем сравнить эффективность и качество самостоятельно. Как?

Можно для начала собрать обратную связь со всех обучающихся (довольно распространенная практика). К, примеру, в WebTutor можно так настроить курсы, чтобы они не считались завершенными, пока не будет заполнена анкета, ну и отчеты тоже можно сделать удобные, так что весь процесс будет автоматизирован.

Вот пример анкеты, которую я когда-то разработал для этих целей:

* Ваше общее впечатление от курса? (Оценка: 1 min — 10 max; 1 — Нет … 10 — Понравился):

* Полезность: Если курс предназначается для Вас – он может быть полезен для реальной работы/жизни? (Оценка: 1 min — 10 max; 1 — Нет … 10 — Понравился):

* Логика и простота: Информация была предложена Вам системно, логично и просто для понимания? (Оценка: 1 min — 10 max; 1 — Полный хаос … 10 – Логично и просто):

* Полнота информация: Информация в курсе соответствует действительности? (Оценка: 1 min — 10 max; 1 – Вся информация неверная … 10 – В курсе верная информация):

* Вы изучали курс увлеченно и с удовольствием? (Оценка: 1 min — 10 max; 1 – Очень скучно … 10 — Увлекательно):

* Считаете ли Вы, что данный курс был назначен вам по ошибке? (Да/Нет) (если да, то прокомментируйте, пожалуйста):

Ваши комментарии по курсу (ошибки, проблемы, находки и т.п.):

Если курс «идеальный» или близок к этому, то средняя оценка по всем вопросам должна быть не ниже 9. Если где-то ниже, то есть повод для анализа. В любом случаем, у нас появляются хоть какие-то объективные данные для сравнение курсов и провайдеров. Но, одно дело, если по курсы одного провайдера будут получать стабильную 9, а другие — 6, а что если оба курса где-то на 8?

4) Можем пойти дальше (следующий уровень модели Кирпатрика) и автоматизировать сбор обратной связи с руководителей сотрудников, прошедших обучение. Примеров под рукой нет, но сделать это вполне возможно. Можно ли тогда будет считать, что мы смогли объективно сравнить электронные курсы и у нас нет риска, что мы будем переплачивать или покупать дешевые пустышки?  Ясно, что это некоторая степень объективности в этом появится, но все же есть риск, что выбрано будет что-то яркое и веселое, а руководители будут субъективными. В таком сравнении не хватает чего-то более фундаментального связанного именно оценкой того, насколько эффективно курс решает поставленную задачу и приводит Заказчика к цели. И главное, чтобы эту оценку можно было провести достаточно просто (без интеграций с ERP системой и попыткой выявить корреляцию коммерческих показателей с прохождением электронного курса). Пусть это будет некий чек-лист, который можно заполнить, сравнивая курсы от двух провайдеров, а еще лучше некий ресурс в Интернет в котором такой чек-лист заполняется в интерактивном режиме, и сразу выдаются какие-то рекомендации. Возможно ли такое?..

А если развить идею Юрия Николаевича и создать ресурс, на который любая копания (вуз?) может разместить курс для оценки. Модератор этого ресурса настраивает критерии оценки, для каждого курса исходя из заданных шаблонов и специфики самого курса. После этого экспертное сообщество производить оценку на основании заданных критериев. При этом должен быть некий механизм отбора этих экспертов и рейтинги, мотивирующие их на активность в плане оценки. Самое сложное в этом — паранойя наших компаний и вузов относительно секретности и  ценности их контента. Всюду мнятся конкуренты, крадущие идеи. Можно сделать так, что курс будут видеть только допущенные эксперты, при этом экспертов может отбирать тот, кто загрузил этот курс. Можно даже в теории уговорить экспертов подписать какие-то соглашения о неразглашении, но чем больше разных заморочек, тем меньше шансов, что такой ресурс когда-то заработает. Но было бы замечательно – экспертный рейтинг курса + оценка от обучающихся и руководителей и мы уже приближаемся к реальной оценке качества электронных курсов.

Вопрос: кто хочет создать такой ресурс? 🙂

Готов участвовать!

Удачи!

Павел Безяев