Расчёт результата по компетенции — различия между версиями

Текущая версия на 13:44, 1 июня 2016

В рамках проводимых мероприятий студенты получают оценки - 1, 2 или 3 (см. Значение оценок).

В конечном итоге эти оценки складываются сначала в результат по компетенции (например, 2.33), а затем результаты по отдельным компетенциям складываются в процент соответствия позиции (например, 78%). В этой статье мы описываем, как отдельные оценки превращаются в результат по компетенции. См. также Расчёт соответствия позиции.

Конечный результат

Результат по компетенции измеряется дробным числом от 0.0 до 3.0. Полученный результат означает, что студент готов к тому, чтобы систематически "закрывать" компетенцию на уровне, описанном в Значении оценок. Т. е., например, 2.0 означает, что студент готов на хорошем уровне справляться с задачами, подразумевающими владение этой компетенцией. 1.0 - может потребоваться помощь. 2.5 - это больше, чем просто "хорошо" и т. д.

Шаг 1. Получить все оценки за компетенцию в рамках факультета

Прежде чем приступить к расчёту результата по конкретной компетенции, надо получить все оценки, касающиеся этой компетенции.

Оценки за роли

В основном, оценивание в системе ведётся на основе того, как студент справился с той или иной ролью. Роли описываются компетенциями, необходимыми для успешной деятельности в этой роли. Если оценка ставится за роль, эта же оценка "уходит" всем входящим в неё компетенциям.

Пример роли: Оформитель настольной игры.

Роль состоит из компетенций:

• 1. Пользоваться картами, схемами, работать со знаковой системой.
• 2. Быть внимательным, сосредоточенным, замечать детали.
• 3. Создать реальный продукт, проявив изобретательность, креативность, воплотить идею.
• 4. Упаковать результаты для представления вовне, материалы для хранения и повторения.
• 5. Использовать для работы базовые офисные приложения (текст, таблицы, презентации, схемы).

Оценки за роли обозначаются в системе синим цветом:

Методологическое отступление

Здесь надо сделать методологическое замечание. Справедливо ли это - по итогам выполнения роли выдавать одинаковые оценки за все компетенции роли? Не получится ли так, что человек "выехал" на нескольких компетенциях, а остальные даже не проявил?

Замечание правильное, и в более ранних версиях системы мы оценивали именно отдельные компетенции. Минус такого подхода - излишняя трудоёмкость.

Практика показала, что наш текущий подход даёт малую погрешность, и "перехитрить" систему не так-то просто. На это работают 3 фактора:

1) Сильное усреднение. Чтобы получить хороший результат за компетенцию, нужно получить как минимум несколько оценок, причём проявить компетенцию нужно минимум в 3 разных ролях. Подробнее об этом будет написано ниже, но сейчас нам важно, что оценок, вообще говоря, ставится много, и ставиться они должны в разных ролях. Это даёт хорошее усреднение и, как следствие, сокращает погрешность. Надо сказать, что на следующем уровне, при вычислении соответствий позициям, проводится ещё одно усреднение оценок. Это, опять же, уменьшает погрешности.

2) Редакторский вклад. Администраторы факультетов назначают ролям самый необходимый минимум компетенций, без которых справиться с ролью будет очень затруднительно. У большинства факультетов Метаверситета сейчас есть специальное ограничивающее правило "не более 5 компетенций на роль" - это позволяет формировать "минималистичный" список компетенций без излишеств.

3) Оценивание = Развитие. Надо понимать, что если какая-то компетенция нужна для роли, то деятельность в этой роли развивает эту компетенцию. Таким образом, если студент и правда, "выехал" первый раз на части компетенций, не проявив при этом необходимую для роли компетенцию X, то на 3-й или 5-й раз он, скорее всего, эту компетенцию уже автоматически докачает до приемлемого уровня.

Второстепенные компетенции

Не все компетенции одинаково "полезны" для роли. Компетенция может быть важной для роли, а может быть "второстепенной". Или, в другую сторону, роль может "развивать" компетенцию, а может "косвенно развивать".

В примере выше дело обстоит следующим образом (роль Оформитель настольной игры):

• 1. [Развивает] Пользоваться картами, схемами, работать со знаковой системой.
• 2. [Косвенно развивает] Быть внимательным, сосредоточенным, замечать детали.
• 3. [Косвенно развивает] Создать реальный продукт, проявив изобретательность, креативность, воплотить идею.
• 4. [Развивает] Упаковать результаты для представления вовне, материалы для хранения и повторения.
• 5. [Развивает] Использовать для работы базовые офисные приложения (текст, таблицы, презентации, схемы).

Оценки за такие "второстепенные" компетенции обозначаются серым цветом:

А при вычислении результата такие оценки, фактически, снижаются до 1 (не совсем так просто, ниже будет подробнее).

Оценки за компетенцию

Метаверситет позволяет также иметь оценки непосредственно за компетенции (не через роли). Сейчас такие оценки можно получить в рамках т. н. долгосрочного оценивания.

Оценки за компетенцию обозначаются оранжевым цветом:

Вес события

Ну и, наконец, событие, в рамках которого ставится оценка, может иметь не единичный вес (например 2.0 - в старых интерфейсах это называется "высоким весом").

Пример таких оценок:

В дальнейшей математике оценки с весом 2.0 приравниваются, фактически, к двум "обычным" оценкам.

В ближайшее время мы планируем добавить в систему вес 3.0.

Подытожим

Пусть студент получил 5 оценок, относящихся к компетенции X:

• 2 - за роль, в которой эта компетенция основная, вес события 2.0 ("высокий")
• 3 - за роль, в которой эта компетенция основная
• 1 - за роль, в которой эта компетенция второстепенная
• 2 - за роль, в которой эта компетенция второстепенная, вес события 2.0
• 3 - за непосредственно за компетенцию X (через долгосрочное оценивание), вес события 2.0

Вот список оценок для дальнейших расчётов результата по компетенции X:

Шаг 2. Применить переводчики 1:1

Оценки за ту или иную компетенцию можно получить не только в своём факультете.

Администраторы факультета могут настроить т. н. "переводчики компетенций", где могут указать, что компетенцию Y из факультета YYY стоит интерпретировать так же, как компетенцию X из из "своего" факультета. Таким образом, для расчёта результатов в рамках факультета можно "подгружать" оценки из других факультетов.

Шаг 3. Рассчитать первичный результат

Именно на этом шаге мы превратим целочисленные оценки - как, например, выше: 2 x 2.0, 3, 1 (второстепенная), 2 x 2.0 (второстепенная), 3 x 2.0 - в дробный результат по компетенции. Забегая вперед, в этом случае это будет 2.60.

Оценивание на Метаверситете - накопительное. Получив определённый результат, его нельзя уменьшить получением дополнительных оценок, пусть даже маленьких. Это принципиальное отличие от "школьной" системы со средним арифметическим.

Расчёт оценки производится, начиная с оценок "1", затем идёт обработка "двоек", потом "троек". Начнём с "единиц".

Считаем единицы

Здесь, как и везде далее, будет 2 ограничивающих фактора: количество оценок и количество ролей, в которых эти оценки получены.

Введём функции:

• COUNT(X) - количество оценок "X" ("X" может быть равно "1", "2" и "3").
• ROLES(X) - количество ролей, в которых получены эти оценки "X".
• MIN(A, B, C) - минимум.
• / - знак деления.

Итоговый результат, если мы имеем только "единицы":

RESULT = MIN(COUNT(1) / 5, ROLES(1) / 3, 1.0).

То есть, чтобы получить 1.0 из "единиц", нужно, как минимум, получить 5 оценок "1", минимум в 3 ролях.

Пример: пусть у нас получено 3 "единицы" в 2 ролях:

RESULT = MIN(3/5, 2/3, 1.0) = 3/5 = 0.60.

Можно то же самое представить картинкой. Оценками нужно заполнить верхние прямоугольники, а ролями, в которых эти оценки получены, нижние. Итоговый же результат обрезается по наименьшей правой зелёной границе.

Что будет, если оценок получено 8, но все в одной роли?

RESULT = MIN(8/5, 1/3, 1.0) = 1/3 = 0.33.

Подключаем двойки

1) Если мы уже имеем результат 1.0 с предыдущего этапа (т. е. чисто с "единиц"), то итоговый результат будет таким:

RESULT = 1.0 + MIN(COUNT(2) / 5, ROLES(2) / 3, 1.0).

Пример: пусть мы имеем 5 "единиц" в 3 ролях и 3 "двойки" и 2 ролях.

RESULT = 1.0 + MIN(3/5, 2/3, 1.0) = 1.0 + 3/5 = 1.60.

2) Если с предыдущего этапа мы имеем результат, меньший, чем 1.0, то одна "двойка" и одна роль как бы тратится на "добивание" предыдущего результата до 1.0. Итоговая формула:

RESULT = 1.0 + MIN((COUNT(2) - 1) / 5, (ROLES(2) - 1) / 3, 1.0).

Пример: пусть мы имеем 4 "единицы" в 3 ролях и 3 "двойки" и 2 ролях. С первого этапа мы "пришли" с результатом 0.80. Значит, вычитаем по единичке из COUNT(2) и из ROLES(2):

RESULT = 1.0 + MIN((3-1)/5, (2-1)/3, 1.0) = 1.0 + 1/3 = 1.33.

Подключаем тройки

Полностью аналогично предыдущему этапу.

1) Если мы уже имеем результат 2.0 с предыдущего этапа:

RESULT = 2.0 + MIN(COUNT(3) / 5, ROLES(3) / 3, 1.0).

2) Если результат с предыдущего этапа меньше 2.0:

RESULT = 2.0 + MIN((COUNT(3) - 1) / 5, (ROLES(3) - 1) / 3, 1.0).

Что, если есть только "единички" и "тройки"

Одна тройка и роль тратится на "добивание" результата до 2.0:

RESULT = 2.0 + MIN((COUNT(3) - 1) / 5, (ROLES(3) - 1) / 3, 1.0).

Что будет, если есть только одна оценка "3"

Итоговый результат 2.0 (возможно, позже мы немного его снизим).

Что с двойным весом

Оценка с двойным весом даёт прибавление 2 к функции COUNT(), вместо 1, как у обычной оценки.

Что с второстепенными оценками

Второстепенные оценки "2" и "3" снижаются до "1".

Второстепенная оценка "1" снижается до половины оценки "1" - т. е. добавляет 0.5 к функции COUNT(1).

Что с нулевыми оценками

Согласно текущей математике, "нули" не несут численного вклада в результат, так как система вычисления результатов накопительная, а не усредняющая. Нули, однако, отображаются в "Ролях и оценках" и также могут характеризовать студента.

Что с оценками за компетенции

Они вносят обычный (как оценки за роли) вклад в функцию COUNT().

Каждая такая оценка добавляет единицу к функции ROLES().

Подытожим (комплексный пример)

Оценки:

• "1" - за роль А
• "1" x 2.0 - за роль B
• "2" - за компетенцию
• "2" x 2.0 - за роль C
• "2" x 2.0 (второстепенная) - за роль B

Какой будет итоговый результат? (Попробуйте посчитать сами!)

Второстепенные оценки "2" снижаются до "1", поэтому получаем "единичек":

• "1" - за роль А
• "1" x 2.0 - за роль B
• "1" x 2.0 - за роль B

Итого, 5 оценок за 2 роли:

RESULT = MIN(5/5, 2/3, 1.0) = 2/3 = 0.67.

Считаем "двойки":

• "2" - за компетенцию
• "2" x 2.0 - за роль C

Итого, 3 "двойки" за 2 роли.

Из них нам придётся "потратить" 1 "двойку" и 1 роль на "добивание" результата до 1.0. Итоговая формула:

RESULT = 1.0 + MIN((3-1)/5, (2-1)/3, 1.0) = 1.0 + 1/3 = 1.33.

Шаг 4. Учесть интегральные компетенции

См. статью Интегральная компетенция.

В первую очередь, на этом шаге мы интерпретируем интегральную компетенцию как Позицию, и вычисляем соответствие этой позиции.

См. статью Расчёт соответствия позиции.

Полученный результат P (измеряется в процентах в интервале [0..100]) мы приводим к результату в интервале [0.0..3.0] по следующей формуле:

RESULT = MIN(P * 3 / 100, 2.0)

То есть, линейное масштабирование интервала [0..100] в [0.0..3.0] - но не более 2.0. Последнее условие обозначает, что для того чтобы заработать более 2.0 за интегральную компетенцию, надо получать "тройки" за саму компетенцию (на дочерних можно дойти только до уровня 2.0).

Далее, если полученный результат больше, чем уже имеющийся (с предыдущего шага) результат, полученный через оценки непосредственно за эту интегральную компетенцию, то мы заменяем результат на полученный.

Будущее: формульные переводчики

У нас есть задел для формульных переводов компетенций из других факультетов. Сейчас на Метаверситете работают только переводчики 1:1 (переводы осуществляются на уровне оценок). В будущем будут запущены переводы на уровне результатов.

Можно будет сказать: результат по компетенции X из моего факультета равен среднему значению результатов компетенций Y и Z из соседнего факультета. Либо не среднему, а минимуму из результатов по таким-то компетенциям. Этот подход был протестирован на нашем сервисе devyourself.ru (более старая модель оценивания компетенций по сравнению с Метаверситетом), и он хорошо себя зарекомендовал. Сейчас формулы уже можно задавать в админке факультета, но они пока не учитываются при расчёте результатов.