Расчёт результата по компетенции — различия между версиями

Материал из Metaversity Wiki
Перейти к: навигация, поиск
(→‎Шаг 3. Рассчитать первичный результат)
 
(не показано 56 промежуточных версий этого же участника)
Строка 5: Строка 5:
 
== Конечный результат ==
 
== Конечный результат ==
  
−
Результат соответствия позиции измеряется дробным числом от 0.00 до 3.00. Полученный результат означает, что студент готов к тому, чтобы систематически "закрывать" компетенцию на уровне, описанном в [[Значение оценок|Значении оценок]]. Т. е., например, 2.0 означает, что студент готов на хорошем уровне справляться с задачами, подразумевающими владение этой компетенцией. 1.0 - может потребоваться помощь. 2.5 - это больше, чем просто "хорошо" и т. д.
+
Результат по компетенции измеряется дробным числом от 0.0 до 3.0. Полученный результат означает, что студент готов к тому, чтобы систематически "закрывать" компетенцию на уровне, описанном в [[Значение оценок|Значении оценок]]. Т. е., например, 2.0 означает, что студент готов на хорошем уровне справляться с задачами, подразумевающими владение этой компетенцией. 1.0 - может потребоваться помощь. 2.5 - это больше, чем просто "хорошо" и т. д.
  
−
== Шаг 1. Получить все оценки за компетенцию ==
+
== Шаг 1. Получить все оценки за компетенцию в рамках факультета ==
  
 
Прежде чем приступить к расчёту результата по конкретной компетенции, надо получить все оценки, касающиеся этой компетенции.
 
Прежде чем приступить к расчёту результата по конкретной компетенции, надо получить все оценки, касающиеся этой компетенции.
Строка 13: Строка 13:
 
=== Оценки за роли ===  
 
=== Оценки за роли ===  
  
−
В основном, оценивание в системе ведётся на основе того, как студент справился с той или иной ролью. Роли состоят из компетенций. Если оценка ставится за роль, эта же оценка "уходит" всем входящим в неё компетенциям.
+
В основном, оценивание в системе ведётся на основе того, как студент справился с той или иной ролью. Роли описываются компетенциями, необходимыми для успешной деятельности в этой роли. Если оценка ставится за роль, эта же оценка "уходит" всем входящим в неё компетенциям.
  
 
Пример роли: '''Оформитель настольной игры'''.
 
Пример роли: '''Оформитель настольной игры'''.
  
−
Роль систоит из компетенций:
+
Роль состоит из компетенций:
  
 
* 1. Пользоваться картами, схемами, работать со знаковой системой.
 
* 1. Пользоваться картами, схемами, работать со знаковой системой.
Строка 26: Строка 26:
  
 
Оценки за роли обозначаются в системе синим цветом:
 
Оценки за роли обозначаются в системе синим цветом:
−
[[Файл:mark1.png]] [[Файл:mark2.png]] [[Файл:mark3.png]]
+
[[Файл:mark3.png]] [[Файл:mark2.png]] [[Файл:mark1.png]]
  
 
==== Методологическое отступление ====
 
==== Методологическое отступление ====
  
−
Здесь надо сделать методологическое замечание. Справедливо ли это - по итогам выполнения роли выдавать ''одинаковые'' оценки за ''все'' компетенции роли? Не получится ли так, что человек "выехал" на 3 компетенциях, а остальные даже не проявил?
+
Здесь надо сделать методологическое замечание. Справедливо ли это - по итогам выполнения роли выдавать ''одинаковые'' оценки за ''все'' компетенции роли? Не получится ли так, что человек "выехал" на нескольких компетенциях, а остальные даже не проявил?
  
 
Замечание правильное, и в более ранних версиях системы мы оценивали именно отдельные компетенции. Минус такого подхода - излишняя трудоёмкость.
 
Замечание правильное, и в более ранних версиях системы мы оценивали именно отдельные компетенции. Минус такого подхода - излишняя трудоёмкость.
  
−
Практика показала, что наш текущий подход даёт малую погрешность, и "перехитрить" систему не так-то просто. На это работают 2 фактора:
+
Практика показала, что наш текущий подход даёт малую погрешность, и "перехитрить" систему не так-то просто. На это работают 3 фактора:
  
−
1) Чтобы получить хороший результат за компетенцию, нужно получить как минимум несколько оценок, причём проявить компетенцию нужно минимум в 3 ''разных'' ролях. Подробнее об этом будет написано ниже, но сейчас нам важно, что оценок, вообще говоря, ставится много, и проявляться они должны в разных ролях. Это даёт хорошее усреднение и, как следствие, сокращает погрешность.
+
1) '''Сильное усреднение.''' Чтобы получить хороший результат за компетенцию, нужно получить как минимум несколько оценок, причём проявить компетенцию нужно минимум в 3 ''разных'' ролях. Подробнее об этом будет написано ниже, но сейчас нам важно, что оценок, вообще говоря, ставится много, и ставиться они должны в разных ролях. Это даёт хорошее усреднение и, как следствие, сокращает погрешность. Надо сказать, что на следующем уровне, при вычислении соответствий позициям, проводится ещё одно усреднение оценок. Это, опять же, уменьшает погрешности.
  
−
2) Редакторский вклад. Администраторы факультетов назначают ролям самый необходимый минимум компетенций, без которых справиться с ролью будет очень затруднительно. У большинства факультетов Метаверситета сейчас даже специальное ограничивающее правило "не более 5 компетенций на роль" - это позволяет формировать очень "минималистичный" список компетенций, без излишеств.
+
2) '''Редакторский вклад.''' Администраторы факультетов назначают ролям самый необходимый минимум компетенций, без которых справиться с ролью будет очень затруднительно. У большинства факультетов Метаверситета сейчас есть специальное ограничивающее правило "не более 5 компетенций на роль" - это позволяет формировать "минималистичный" список компетенций без излишеств.
  
−
Надо сказать, что на следующем уровне, при вычислении соответствий позициям, проводится, как бы, ещё одно усреднение оценок. Это, опять же, уменьшает погрешности.
+
3) '''Оценивание = Развитие.''' Надо понимать, что если какая-то компетенция ''нужна'' для роли, то деятельность в этой роли ''развивает'' эту компетенцию. Таким образом, если студент и правда, "выехал" первый раз на части компетенций, не проявив при этом необходимую для роли компетенцию X, то на 3-й или 5-й раз он, скорее всего, эту компетенцию уже автоматически докачает до приемлемого уровня.
  
 
=== Второстепенные компетенции ===
 
=== Второстепенные компетенции ===
 +
 +
Не все компетенции одинаково "полезны" для роли. Компетенция может быть важной для роли, а может быть "второстепенной". Или, в другую сторону, роль может "развивать" компетенцию, а может "косвенно развивать".
 +
 +
В примере выше дело обстоит следующим образом (роль '''Оформитель настольной игры'''):
 +
 +
* 1. '''[Развивает]''' Пользоваться картами, схемами, работать со знаковой системой.
 +
* 2. '''[Косвенно развивает]''' Быть внимательным, сосредоточенным, замечать детали.
 +
* 3. '''[Косвенно развивает]''' Создать реальный продукт, проявив изобретательность, креативность, воплотить идею.
 +
* 4. '''[Развивает]''' Упаковать результаты для представления вовне, материалы для хранения и повторения.
 +
* 5. '''[Развивает]''' Использовать для работы базовые офисные приложения (текст, таблицы, презентации, схемы).
 +
 +
Оценки за такие "второстепенные" компетенции обозначаются серым цветом:
 +
 +
[[Файл:mark3-unimportant.png]] [[Файл:mark2-unimportant.png]] [[Файл:mark1-unimportant.png]]
 +
 +
А при вычислении результата такие оценки, фактически, снижаются до 1 (не совсем так просто, ниже будет подробнее).
  
 
=== Оценки за компетенцию ===
 
=== Оценки за компетенцию ===
 +
 +
Метаверситет позволяет также иметь оценки непосредственно за компетенции (не через роли). Сейчас такие оценки можно получить в рамках т. н. долгосрочного оценивания.
 +
 +
Оценки за компетенцию обозначаются оранжевым цветом:
 +
 +
[[Файл:mark3-competence.png]]
  
 
=== Вес события ===
 
=== Вес события ===
 +
 +
Ну и, наконец, событие, в рамках которого ставится оценка, может иметь не единичный вес (например 2.0 - в старых интерфейсах это называется "высоким весом").
 +
 +
Пример таких оценок:
 +
 +
[[Файл:mark2x2.png]] [[Файл:mark2x2-unimportant.png]] [[Файл:mark3x2-competence.png]]
 +
 +
В дальнейшей математике оценки с весом 2.0 приравниваются, фактически, к двум "обычным" оценкам.
 +
 +
В ближайшее время мы планируем добавить в систему вес 3.0.
  
 
=== Подытожим ===
 
=== Подытожим ===
  
−
Пусть Маша получила 5 оценок, относящихся к компетенции X:
+
Пусть студент получил 5 оценок, относящихся к компетенции X:
 
* 2 - за роль, в которой эта компетенция основная, вес события 2.0 ("высокий")
 
* 2 - за роль, в которой эта компетенция основная, вес события 2.0 ("высокий")
 
* 3 - за роль, в которой эта компетенция основная
 
* 3 - за роль, в которой эта компетенция основная
Строка 57: Строка 89:
 
* 3 - за непосредственно за компетенцию X (через долгосрочное оценивание), вес события 2.0
 
* 3 - за непосредственно за компетенцию X (через долгосрочное оценивание), вес события 2.0
  
−
Вот базис для дальнейших расчётов результата по компетенции X:
+
Вот список оценок для дальнейших расчётов результата по компетенции X:
 
[[Файл:mark2x2.png]] [[Файл:mark3.png]] [[Файл:mark1-unimportant.png]] [[Файл:mark2x2-unimportant.png]]  [[Файл:mark3x2-competence.png]]
 
[[Файл:mark2x2.png]] [[Файл:mark3.png]] [[Файл:mark1-unimportant.png]] [[Файл:mark2x2-unimportant.png]]  [[Файл:mark3x2-competence.png]]
 +
 +
== Шаг 2. Применить переводчики 1:1 ==
 +
 +
Оценки за ту или иную компетенцию можно получить не только в своём факультете.
 +
 +
Администраторы факультета могут настроить т. н. "переводчики компетенций", где могут указать, что компетенцию Y из факультета YYY стоит интерпретировать так же, как компетенцию X из из "своего" факультета. Таким образом, для расчёта результатов в рамках факультета можно "подгружать" оценки из других факультетов.
 +
 +
== Шаг 3. Рассчитать первичный результат ==
 +
 +
Именно на этом шаге мы превратим целочисленные оценки - как, например, выше: '''2''' x 2.0, '''3''', '''1''' (второстепенная), '''2''' x 2.0 (второстепенная), '''3''' x 2.0 - в дробный результат по компетенции. Забегая вперед, в этом случае это будет 2.60.
 +
 +
'''Оценивание на Метаверситете - накопительное. Получив определённый результат, его нельзя уменьшить получением дополнительных оценок, пусть даже маленьких. Это принципиальное отличие от "школьной" системы со средним арифметическим.'''
 +
 +
Расчёт оценки производится, начиная с оценок "1", затем идёт обработка "двоек", потом "троек". Начнём с "единиц".
 +
 +
=== Считаем единицы ===
 +
 +
Здесь, как и везде далее, будет 2 ограничивающих фактора: количество оценок и количество ролей, в которых эти оценки получены.
 +
 +
Введём функции:
 +
* COUNT(X) - количество оценок "X" ("X" может быть равно "1", "2" и "3").
 +
* ROLES(X) - количество ролей, в которых получены эти оценки "X".
 +
* MIN(A, B, C) - минимум.
 +
* / - знак деления.
 +
 +
Итоговый результат, если мы имеем только "единицы":
 +
 +
RESULT = MIN(COUNT(1) / 5, ROLES(1) / 3, 1.0).
 +
 +
То есть, чтобы получить 1.0 из "единиц", нужно, как минимум, получить 5 оценок "1", минимум в 3 ролях.
 +
 +
Пример: пусть у нас получено 3 "единицы" в 2 ролях:
 +
 +
RESULT = MIN(3/5, 2/3, 1.0) = 3/5 = '''0.60'''.
 +
 +
Можно то же самое представить картинкой. Оценками нужно заполнить верхние прямоугольники, а ролями, в которых эти оценки получены, нижние. Итоговый же результат обрезается по наименьшей правой зелёной границе.
 +
 +
[[Файл:Mark-basic-calc.png]]
 +
 +
Что будет, если оценок получено 8, но все в одной роли?
 +
 +
RESULT = MIN(8/5, 1/3, 1.0) = 1/3 = '''0.33'''.
 +
 +
[[Файл:Mark-basic-calc2.png]]
 +
 +
=== Подключаем двойки ===
 +
 +
1) Если мы '''уже имеем результат 1.0 с предыдущего этапа''' (т. е. чисто с "единиц"), то итоговый результат будет таким:
 +
 +
RESULT = 1.0 + MIN(COUNT(2) / 5, ROLES(2) / 3, 1.0).
 +
 +
Пример: пусть мы имеем 5 "единиц" в 3 ролях и 3 "двойки" и 2 ролях.
 +
 +
RESULT = 1.0 + MIN(3/5, 2/3, 1.0) = 1.0 + 3/5 = '''1.60'''.
 +
 +
[[Файл:mark-basic-calc3.png]]
 +
 +
2) Если '''с предыдущего этапа''' мы имеем результат, '''меньший, чем 1.0''', то одна "двойка" и одна роль как бы тратится на "добивание" предыдущего результата до 1.0. Итоговая формула:
 +
 +
RESULT = 1.0 + MIN((COUNT(2) - 1) / 5, (ROLES(2) - 1) / 3, 1.0).
 +
 +
Пример: пусть мы имеем 4 "единицы" в 3 ролях и 3 "двойки" и 2 ролях. С первого этапа мы "пришли" с результатом 0.80. Значит, вычитаем по единичке из COUNT(2) и из ROLES(2):
 +
 +
RESULT = 1.0 + MIN((3-1)/5, (2-1)/3, 1.0) = 1.0 + 1/3 = '''1.33'''.
 +
 +
=== Подключаем тройки ===
 +
 +
Полностью аналогично предыдущему этапу.
 +
 +
1) Если мы уже имеем результат 2.0 с предыдущего этапа:
 +
 +
RESULT = 2.0 + MIN(COUNT(3) / 5, ROLES(3) / 3, 1.0).
 +
 +
2) Если результат с предыдущего этапа меньше 2.0:
 +
 +
RESULT = 2.0 + MIN((COUNT(3) - 1) / 5, (ROLES(3) - 1) / 3, 1.0).
 +
 +
=== Что, если есть только "единички" и "тройки" ===
 +
 +
Одна тройка и роль тратится на "добивание" результата до 2.0:
 +
 +
RESULT = 2.0 + MIN((COUNT(3) - 1) / 5, (ROLES(3) - 1) / 3, 1.0).
 +
 +
=== Что будет, если есть только одна оценка "3" ===
 +
 +
Итоговый результат 2.0 (возможно, позже мы немного его снизим).
 +
 +
=== Что с двойным весом ===
 +
 +
Оценка с двойным весом даёт прибавление 2 к функции COUNT(), вместо 1, как у обычной оценки.
 +
 +
=== Что с второстепенными оценками ===
 +
 +
Второстепенные оценки "2" и "3" снижаются до "1".
 +
 +
Второстепенная оценка "1" снижается до ''половины'' оценки "1" - т. е. добавляет 0.5 к функции COUNT(1).
 +
 +
=== Что с нулевыми оценками ===
 +
 +
Согласно текущей математике, "нули" не несут численного вклада в результат, так как система вычисления результатов накопительная, а не усредняющая. Нули, однако, отображаются в "Ролях и оценках" и также могут характеризовать студента.
 +
 +
=== Что с оценками за компетенции ===
 +
 +
Они вносят обычный (как оценки за роли) вклад в функцию COUNT().
 +
 +
Каждая такая оценка добавляет единицу к функции ROLES().
 +
 +
=== Подытожим (комплексный пример) ===
 +
 +
Оценки:
 +
 +
* "1" - за роль А
 +
* "1" x 2.0 - за роль B
 +
* "2" - за компетенцию
 +
* "2" x 2.0 - за роль C
 +
* "2" x 2.0 (второстепенная) - за роль B
 +
 +
Какой будет итоговый результат? (Попробуйте посчитать сами!)
 +
 +
Второстепенные оценки "2" снижаются до "1", поэтому получаем "единичек":
 +
 +
* "1" - за роль А
 +
* "1" x 2.0 - за роль B
 +
* "1" x 2.0 - за роль B
 +
 +
Итого, 5 оценок за 2 роли:
 +
 +
RESULT = MIN(5/5, 2/3, 1.0) = 2/3 = 0.67.
 +
 +
Считаем "двойки":
 +
 +
* "2" - за компетенцию
 +
* "2" x 2.0 - за роль C
 +
 +
Итого, 3 "двойки" за 2 роли.
 +
 +
Из них нам придётся "потратить" 1 "двойку" и 1 роль на "добивание" результата до 1.0. Итоговая формула:
 +
 +
RESULT = 1.0 + MIN((3-1)/5, (2-1)/3, 1.0) = 1.0 + 1/3 = '''1.33'''.
 +
 +
== Шаг 4. Учесть интегральные компетенции ==
 +
 +
См. статью [[Интегральная компетенция]].
 +
 +
В первую очередь, на этом шаге мы интерпретируем интегральную компетенцию как [[Позиция|Позицию]], и вычисляем соответствие этой позиции.
 +
 +
См. статью [[Расчёт соответствия позиции]].
 +
 +
Полученный результат P (измеряется в процентах в интервале [0..100]) мы приводим к результату в интервале [0.0..3.0] по следующей формуле:
 +
 +
RESULT = MIN(P * 3 / 100, 2.0)
 +
 +
То есть, линейное масштабирование интервала [0..100] в [0.0..3.0] - '''но не более 2.0'''. Последнее условие обозначает, что для того чтобы заработать более 2.0 за интегральную компетенцию, надо получать "тройки" за саму компетенцию (на дочерних можно дойти только до уровня 2.0).
 +
 +
Далее, если полученный результат '''больше''', чем уже имеющийся (с предыдущего шага) результат, полученный через оценки непосредственно за эту интегральную компетенцию, то мы заменяем результат на полученный.
 +
 +
== Будущее: формульные переводчики ==
 +
 +
У нас есть задел для формульных переводов компетенций из других факультетов. Сейчас на Метаверситете работают только переводчики 1:1 (переводы осуществляются на уровне оценок). В будущем будут запущены переводы на уровне результатов.
 +
 +
Можно будет сказать: результат по компетенции X из моего факультета равен '''среднему''' значению результатов компетенций Y и Z из соседнего факультета. Либо не среднему, а '''минимуму''' из результатов по таким-то компетенциям. Этот подход был протестирован на нашем сервисе devyourself.ru (более старая модель оценивания компетенций по сравнению с Метаверситетом), и он хорошо себя зарекомендовал. Сейчас формулы уже можно задавать в админке факультета, но они пока не учитываются при расчёте результатов.

Текущая версия на 13:44, 1 июня 2016

В рамках проводимых мероприятий студенты получают оценки - 1, 2 или 3 (см. Значение оценок).

В конечном итоге эти оценки складываются сначала в результат по компетенции (например, 2.33), а затем результаты по отдельным компетенциям складываются в процент соответствия позиции (например, 78%). В этой статье мы описываем, как отдельные оценки превращаются в результат по компетенции. См. также Расчёт соответствия позиции.

Конечный результат

Результат по компетенции измеряется дробным числом от 0.0 до 3.0. Полученный результат означает, что студент готов к тому, чтобы систематически "закрывать" компетенцию на уровне, описанном в Значении оценок. Т. е., например, 2.0 означает, что студент готов на хорошем уровне справляться с задачами, подразумевающими владение этой компетенцией. 1.0 - может потребоваться помощь. 2.5 - это больше, чем просто "хорошо" и т. д.

Шаг 1. Получить все оценки за компетенцию в рамках факультета

Прежде чем приступить к расчёту результата по конкретной компетенции, надо получить все оценки, касающиеся этой компетенции.

Оценки за роли

В основном, оценивание в системе ведётся на основе того, как студент справился с той или иной ролью. Роли описываются компетенциями, необходимыми для успешной деятельности в этой роли. Если оценка ставится за роль, эта же оценка "уходит" всем входящим в неё компетенциям.

Пример роли: Оформитель настольной игры.

Роль состоит из компетенций:

  • 1. Пользоваться картами, схемами, работать со знаковой системой.
  • 2. Быть внимательным, сосредоточенным, замечать детали.
  • 3. Создать реальный продукт, проявив изобретательность, креативность, воплотить идею.
  • 4. Упаковать результаты для представления вовне, материалы для хранения и повторения.
  • 5. Использовать для работы базовые офисные приложения (текст, таблицы, презентации, схемы).

Оценки за роли обозначаются в системе синим цветом: Mark3.png Mark2.png Mark1.png

Методологическое отступление

Здесь надо сделать методологическое замечание. Справедливо ли это - по итогам выполнения роли выдавать одинаковые оценки за все компетенции роли? Не получится ли так, что человек "выехал" на нескольких компетенциях, а остальные даже не проявил?

Замечание правильное, и в более ранних версиях системы мы оценивали именно отдельные компетенции. Минус такого подхода - излишняя трудоёмкость.

Практика показала, что наш текущий подход даёт малую погрешность, и "перехитрить" систему не так-то просто. На это работают 3 фактора:

1) Сильное усреднение. Чтобы получить хороший результат за компетенцию, нужно получить как минимум несколько оценок, причём проявить компетенцию нужно минимум в 3 разных ролях. Подробнее об этом будет написано ниже, но сейчас нам важно, что оценок, вообще говоря, ставится много, и ставиться они должны в разных ролях. Это даёт хорошее усреднение и, как следствие, сокращает погрешность. Надо сказать, что на следующем уровне, при вычислении соответствий позициям, проводится ещё одно усреднение оценок. Это, опять же, уменьшает погрешности.

2) Редакторский вклад. Администраторы факультетов назначают ролям самый необходимый минимум компетенций, без которых справиться с ролью будет очень затруднительно. У большинства факультетов Метаверситета сейчас есть специальное ограничивающее правило "не более 5 компетенций на роль" - это позволяет формировать "минималистичный" список компетенций без излишеств.

3) Оценивание = Развитие. Надо понимать, что если какая-то компетенция нужна для роли, то деятельность в этой роли развивает эту компетенцию. Таким образом, если студент и правда, "выехал" первый раз на части компетенций, не проявив при этом необходимую для роли компетенцию X, то на 3-й или 5-й раз он, скорее всего, эту компетенцию уже автоматически докачает до приемлемого уровня.

Второстепенные компетенции

Не все компетенции одинаково "полезны" для роли. Компетенция может быть важной для роли, а может быть "второстепенной". Или, в другую сторону, роль может "развивать" компетенцию, а может "косвенно развивать".

В примере выше дело обстоит следующим образом (роль Оформитель настольной игры):

  • 1. [Развивает] Пользоваться картами, схемами, работать со знаковой системой.
  • 2. [Косвенно развивает] Быть внимательным, сосредоточенным, замечать детали.
  • 3. [Косвенно развивает] Создать реальный продукт, проявив изобретательность, креативность, воплотить идею.
  • 4. [Развивает] Упаковать результаты для представления вовне, материалы для хранения и повторения.
  • 5. [Развивает] Использовать для работы базовые офисные приложения (текст, таблицы, презентации, схемы).

Оценки за такие "второстепенные" компетенции обозначаются серым цветом:

Mark3-unimportant.png Mark2-unimportant.png Mark1-unimportant.png

А при вычислении результата такие оценки, фактически, снижаются до 1 (не совсем так просто, ниже будет подробнее).

Оценки за компетенцию

Метаверситет позволяет также иметь оценки непосредственно за компетенции (не через роли). Сейчас такие оценки можно получить в рамках т. н. долгосрочного оценивания.

Оценки за компетенцию обозначаются оранжевым цветом:

Mark3-competence.png

Вес события

Ну и, наконец, событие, в рамках которого ставится оценка, может иметь не единичный вес (например 2.0 - в старых интерфейсах это называется "высоким весом").

Пример таких оценок:

Mark2x2.png Mark2x2-unimportant.png Mark3x2-competence.png

В дальнейшей математике оценки с весом 2.0 приравниваются, фактически, к двум "обычным" оценкам.

В ближайшее время мы планируем добавить в систему вес 3.0.

Подытожим

Пусть студент получил 5 оценок, относящихся к компетенции X:

  • 2 - за роль, в которой эта компетенция основная, вес события 2.0 ("высокий")
  • 3 - за роль, в которой эта компетенция основная
  • 1 - за роль, в которой эта компетенция второстепенная
  • 2 - за роль, в которой эта компетенция второстепенная, вес события 2.0
  • 3 - за непосредственно за компетенцию X (через долгосрочное оценивание), вес события 2.0

Вот список оценок для дальнейших расчётов результата по компетенции X: Mark2x2.png Mark3.png Mark1-unimportant.png Mark2x2-unimportant.png Mark3x2-competence.png

Шаг 2. Применить переводчики 1:1

Оценки за ту или иную компетенцию можно получить не только в своём факультете.

Администраторы факультета могут настроить т. н. "переводчики компетенций", где могут указать, что компетенцию Y из факультета YYY стоит интерпретировать так же, как компетенцию X из из "своего" факультета. Таким образом, для расчёта результатов в рамках факультета можно "подгружать" оценки из других факультетов.

Шаг 3. Рассчитать первичный результат

Именно на этом шаге мы превратим целочисленные оценки - как, например, выше: 2 x 2.0, 3, 1 (второстепенная), 2 x 2.0 (второстепенная), 3 x 2.0 - в дробный результат по компетенции. Забегая вперед, в этом случае это будет 2.60.

Оценивание на Метаверситете - накопительное. Получив определённый результат, его нельзя уменьшить получением дополнительных оценок, пусть даже маленьких. Это принципиальное отличие от "школьной" системы со средним арифметическим.

Расчёт оценки производится, начиная с оценок "1", затем идёт обработка "двоек", потом "троек". Начнём с "единиц".

Считаем единицы

Здесь, как и везде далее, будет 2 ограничивающих фактора: количество оценок и количество ролей, в которых эти оценки получены.

Введём функции:

  • COUNT(X) - количество оценок "X" ("X" может быть равно "1", "2" и "3").
  • ROLES(X) - количество ролей, в которых получены эти оценки "X".
  • MIN(A, B, C) - минимум.
  • / - знак деления.

Итоговый результат, если мы имеем только "единицы": 

RESULT = MIN(COUNT(1) / 5, ROLES(1) / 3, 1.0).

То есть, чтобы получить 1.0 из "единиц", нужно, как минимум, получить 5 оценок "1", минимум в 3 ролях.

Пример: пусть у нас получено 3 "единицы" в 2 ролях: 

RESULT = MIN(3/5, 2/3, 1.0) = 3/5 = 0.60.

Можно то же самое представить картинкой. Оценками нужно заполнить верхние прямоугольники, а ролями, в которых эти оценки получены, нижние. Итоговый же результат обрезается по наименьшей правой зелёной границе.

Mark-basic-calc.png

Что будет, если оценок получено 8, но все в одной роли? 

RESULT = MIN(8/5, 1/3, 1.0) = 1/3 = 0.33.

Mark-basic-calc2.png

Подключаем двойки

1) Если мы уже имеем результат 1.0 с предыдущего этапа (т. е. чисто с "единиц"), то итоговый результат будет таким: 

RESULT = 1.0 + MIN(COUNT(2) / 5, ROLES(2) / 3, 1.0).

Пример: пусть мы имеем 5 "единиц" в 3 ролях и 3 "двойки" и 2 ролях. 

RESULT = 1.0 + MIN(3/5, 2/3, 1.0) = 1.0 + 3/5 = 1.60.

Mark-basic-calc3.png

2) Если с предыдущего этапа мы имеем результат, меньший, чем 1.0, то одна "двойка" и одна роль как бы тратится на "добивание" предыдущего результата до 1.0. Итоговая формула: 

RESULT = 1.0 + MIN((COUNT(2) - 1) / 5, (ROLES(2) - 1) / 3, 1.0).

Пример: пусть мы имеем 4 "единицы" в 3 ролях и 3 "двойки" и 2 ролях. С первого этапа мы "пришли" с результатом 0.80. Значит, вычитаем по единичке из COUNT(2) и из ROLES(2): 

RESULT = 1.0 + MIN((3-1)/5, (2-1)/3, 1.0) = 1.0 + 1/3 = 1.33.

Подключаем тройки

Полностью аналогично предыдущему этапу.

1) Если мы уже имеем результат 2.0 с предыдущего этапа: 

RESULT = 2.0 + MIN(COUNT(3) / 5, ROLES(3) / 3, 1.0).

2) Если результат с предыдущего этапа меньше 2.0: 

RESULT = 2.0 + MIN((COUNT(3) - 1) / 5, (ROLES(3) - 1) / 3, 1.0).

Что, если есть только "единички" и "тройки"

Одна тройка и роль тратится на "добивание" результата до 2.0: 

RESULT = 2.0 + MIN((COUNT(3) - 1) / 5, (ROLES(3) - 1) / 3, 1.0).

Что будет, если есть только одна оценка "3"

Итоговый результат 2.0 (возможно, позже мы немного его снизим).

Что с двойным весом

Оценка с двойным весом даёт прибавление 2 к функции COUNT(), вместо 1, как у обычной оценки.

Что с второстепенными оценками

Второстепенные оценки "2" и "3" снижаются до "1".

Второстепенная оценка "1" снижается до половины оценки "1" - т. е. добавляет 0.5 к функции COUNT(1).

Что с нулевыми оценками

Согласно текущей математике, "нули" не несут численного вклада в результат, так как система вычисления результатов накопительная, а не усредняющая. Нули, однако, отображаются в "Ролях и оценках" и также могут характеризовать студента.

Что с оценками за компетенции

Они вносят обычный (как оценки за роли) вклад в функцию COUNT().

Каждая такая оценка добавляет единицу к функции ROLES().

Подытожим (комплексный пример)

Оценки:

  • "1" - за роль А
  • "1" x 2.0 - за роль B
  • "2" - за компетенцию
  • "2" x 2.0 - за роль C
  • "2" x 2.0 (второстепенная) - за роль B

Какой будет итоговый результат? (Попробуйте посчитать сами!)

Второстепенные оценки "2" снижаются до "1", поэтому получаем "единичек":

  • "1" - за роль А
  • "1" x 2.0 - за роль B
  • "1" x 2.0 - за роль B

Итого, 5 оценок за 2 роли:

RESULT = MIN(5/5, 2/3, 1.0) = 2/3 = 0.67.

Считаем "двойки":

  • "2" - за компетенцию
  • "2" x 2.0 - за роль C

Итого, 3 "двойки" за 2 роли.

Из них нам придётся "потратить" 1 "двойку" и 1 роль на "добивание" результата до 1.0. Итоговая формула: 

RESULT = 1.0 + MIN((3-1)/5, (2-1)/3, 1.0) = 1.0 + 1/3 = 1.33.

Шаг 4. Учесть интегральные компетенции

См. статью Интегральная компетенция.

В первую очередь, на этом шаге мы интерпретируем интегральную компетенцию как Позицию, и вычисляем соответствие этой позиции.

См. статью Расчёт соответствия позиции.

Полученный результат P (измеряется в процентах в интервале [0..100]) мы приводим к результату в интервале [0.0..3.0] по следующей формуле: 

RESULT = MIN(P * 3 / 100, 2.0)

То есть, линейное масштабирование интервала [0..100] в [0.0..3.0] - но не более 2.0. Последнее условие обозначает, что для того чтобы заработать более 2.0 за интегральную компетенцию, надо получать "тройки" за саму компетенцию (на дочерних можно дойти только до уровня 2.0).

Далее, если полученный результат больше, чем уже имеющийся (с предыдущего шага) результат, полученный через оценки непосредственно за эту интегральную компетенцию, то мы заменяем результат на полученный.

Будущее: формульные переводчики

У нас есть задел для формульных переводов компетенций из других факультетов. Сейчас на Метаверситете работают только переводчики 1:1 (переводы осуществляются на уровне оценок). В будущем будут запущены переводы на уровне результатов.

Можно будет сказать: результат по компетенции X из моего факультета равен среднему значению результатов компетенций Y и Z из соседнего факультета. Либо не среднему, а минимуму из результатов по таким-то компетенциям. Этот подход был протестирован на нашем сервисе devyourself.ru (более старая модель оценивания компетенций по сравнению с Метаверситетом), и он хорошо себя зарекомендовал. Сейчас формулы уже можно задавать в админке факультета, но они пока не учитываются при расчёте результатов.

Источник — «https://wiki.metaversity.ru/?title=Расчёт_результата_по_компетенции&oldid=111»