Расчёт результата по компетенции

В рамках проводимых мероприятий студенты получают оценки - 1, 2 или 3 (см. Значение оценок).

В конечном итоге эти оценки складываются сначала в результат по компетенции (например, 2.33), а затем результаты по отдельным компетенциям складываются в процент соответствия позиции (например, 78%). В этой статье мы описываем, как отдельные оценки превращаются в результат по компетенции. См. также Расчёт соответствия позиции.

Конечный результат

Результат соответствия позиции измеряется дробным числом от 0.00 до 3.00. Полученный результат означает, что студент готов к тому, чтобы систематически "закрывать" компетенцию на уровне, описанном в Значении оценок. Т. е., например, 2.0 означает, что студент готов на хорошем уровне справляться с задачами, подразумевающими владение этой компетенцией. 1.0 - может потребоваться помощь. 2.5 - это больше, чем просто "хорошо" и т. д.

Шаг 1. Получить все оценки за компетенцию в рамках факультета

Прежде чем приступить к расчёту результата по конкретной компетенции, надо получить все оценки, касающиеся этой компетенции.

Оценки за роли

В основном, оценивание в системе ведётся на основе того, как студент справился с той или иной ролью. Роли состоят из компетенций. Если оценка ставится за роль, эта же оценка "уходит" всем входящим в неё компетенциям.

Пример роли: Оформитель настольной игры.

Роль систоит из компетенций:

• 1. Пользоваться картами, схемами, работать со знаковой системой.
• 2. Быть внимательным, сосредоточенным, замечать детали.
• 3. Создать реальный продукт, проявив изобретательность, креативность, воплотить идею.
• 4. Упаковать результаты для представления вовне, материалы для хранения и повторения.
• 5. Использовать для работы базовые офисные приложения (текст, таблицы, презентации, схемы).

Оценки за роли обозначаются в системе синим цветом:

Методологическое отступление

Здесь надо сделать методологическое замечание. Справедливо ли это - по итогам выполнения роли выдавать одинаковые оценки за все компетенции роли? Не получится ли так, что человек "выехал" на 3 компетенциях, а остальные даже не проявил?

Замечание правильное, и в более ранних версиях системы мы оценивали именно отдельные компетенции. Минус такого подхода - излишняя трудоёмкость.

Практика показала, что наш текущий подход даёт малую погрешность, и "перехитрить" систему не так-то просто. На это работают 3 фактора:

1) Сильное усреднение. Чтобы получить хороший результат за компетенцию, нужно получить как минимум несколько оценок, причём проявить компетенцию нужно минимум в 3 разных ролях. Подробнее об этом будет написано ниже, но сейчас нам важно, что оценок, вообще говоря, ставится много, и проявляться они должны в разных ролях. Это даёт хорошее усреднение и, как следствие, сокращает погрешность. Надо сказать, что на следующем уровне, при вычислении соответствий позициям, проводится ещё одно усреднение оценок. Это, опять же, уменьшает погрешности.

2) Редакторский вклад. Администраторы факультетов назначают ролям самый необходимый минимум компетенций, без которых справиться с ролью будет очень затруднительно. У большинства факультетов Метаверситета сейчас есть специальное ограничивающее правило "не более 5 компетенций на роль" - это позволяет формировать "минималистичный" список компетенций без излишеств.

3) Оценивание = Развитие. Надо понимать, что если какая-то компетенция нужна для роли, то деятельность в этой роли развивает эту компетенцию. Таким образом, если студент и правда, "выехал" первый раз на части компетенций, не проявив при этом необходимую для роли компетенцию X, то на 3-й или 5-й раз он, скорее всего, эту компетенцию уже автоматически докачает до приемлемого уровня.

Второстепенные компетенции

Не все компетенции одинаково "полезны" для роли. Компетенция может быть важной для роли, а может быть "второстепенной". Или, в другую сторону, роль может "развивать" компетенцию, а может "косвенно развивать".

В примере выше дело обстоит следующим образом (роль Оформитель настольной игры):

• 1. [Развивает] Пользоваться картами, схемами, работать со знаковой системой.
• 2. [Косвенно развивает] Быть внимательным, сосредоточенным, замечать детали.
• 3. [Косвенно развивает] Создать реальный продукт, проявив изобретательность, креативность, воплотить идею.
• 4. [Развивает] Упаковать результаты для представления вовне, материалы для хранения и повторения.
• 5. [Развивает] Использовать для работы базовые офисные приложения (текст, таблицы, презентации, схемы).

Оценки за такие "второстепенные" компетенции обозначаются серым цветом:

А при вычислении результата такие оценки, фактически, снижаются до 1 (не совсем так просто, ниже будет подробнее).

Оценки за компетенцию

Метаверситет позволяет также иметь оценки непосредственно за компетенции (не через роли). Сейчас такие оценки можно получить в рамках т. н. долгосрочного оценивания.

Оценки за компетенцию обозначаются оранжевым цветом:

Вес события

Ну и, наконец, событие, в рамках которого ставится оценка, может иметь не единичный вес (например 2.0 - в старых интерфейсах это называется "высоким весом").

Пример таких оценок:

В дальнейшей математике оценки с весом 2.0 приравниваются, фактически, к двум "обычным" оценкам.

В ближайшее время мы планирум добавить в систему вес 3.0.

Подытожим

Пусть Маша получила 5 оценок, относящихся к компетенции X:

• 2 - за роль, в которой эта компетенция основная, вес события 2.0 ("высокий")
• 3 - за роль, в которой эта компетенция основная
• 1 - за роль, в которой эта компетенция второстепенная
• 2 - за роль, в которой эта компетенция второстепенная, вес события 2.0
• 3 - за непосредственно за компетенцию X (через долгосрочное оценивание), вес события 2.0

Вот список оценок для дальнейших расчётов результата по компетенции X:

Шаг 2. Применить переводчики 1:1

Оценки за ту или иную компетенцию можно получить не только в своём факультете.

Администраторы факультета могут настроить т. н. "переводчики компетенций", где могут указать, что компетенцию Y из факультета YYY стоит интерпретировать так же, как компетенцию X из из "своего" факультета. Таким образом, для расчёта результатов в рамках факультета можно "подгружать" оценки из других факультетов.

Шаг 3. Рассчитать первичный результат

Именно на этом шаге мы превратим целочисленные оценки - как, например, выше: 2 x 2.0, 3, 1 (второстепенная), 2 x 2.0 (второстепенная), 3 x 2.0 - в результат по компетенции. Забегая вперед, в этом случае это будет 2.60.

Оценивание на Метаверситете - накопительное. Получив определённый результат, его нельзя уменьшить получением дополнительных оценок, пусть даже маленьких.

Расчёт оценки производится, начиная с оценок "1", затем идёт обработка "двоек", потом "троек". Начнём с "единиц".

Считаем единицы

Здесь, как и везде далее, будет 2 ограничивающих фактора: количество оценок и количество ролей, в которых эти оценки получены.

Введём функции:

• COUNT(X) - количество оценок "X" (X может быть равно 1, 2 и 3).
• ROLES(X) - количество ролей, в которых получены эти оценки "X".
• MIN(A, B, C) - минимум.
• / - знак деления.

Итоговый результат, если мы имеем только "единицы":

RESULT = MIN(COUNT(1) / 5, ROLES(1) / 3, 1.0).

То есть, чтобы получить 1.0 из "единиц", нужно, как минимум, получить 5 оценок "1" минимум в 3 ролях.

Что будет, если оценок получено 8, но только в 2 ролях?

RESULT = MIN(8/5, 2/3, 1.0) = 2/3 = 0.67.

Подключаем двойки

1) Если мы уже имеем результат 1.0 с предыдущего этапа (т. е. чисто с "единиц"), то итоговый результат будет таким:

RESULT = 1.0 + MIN(COUNT(2) / 5, ROLES(2) / 3, 1.0).

Пример: пусть мы имеем 5 "единиц" в 3 ролях и 3 "двойки" и 2 ролях.

RESULT = 1.0 + MIN(3/5, 2/3, 1.0) = 1.0 + 3/5 = 1.60.

2) Если с предыдущего этапа мы имеем результат, меньший, чем 1.0, то, как бы, одна "двойка" и одна роль "тратится" на добивание предыдущего результата до 1.0. Итоговая формула:

RESULT = 1.0 + MIN((COUNT(2) - 1) / 5, (ROLES(2) - 1) / 3, 1.0).

Пример: пусть мы имеем 4 "единицы" в 3 ролях и 3 "двойки" и 2 ролях. С первого этапа мы "пришли" в результатом 0.80. Значит, вычитаем по единичке из COUNT() и из ROLES():

RESULT = 1.0 + MIN((3-1)/5, (2-1)/3, 1.0) = 1.0 + 1/3 = 1.33.