Мир Ролевых Игр

Смежные Темы => Жизнь => Тема начата: ArK от Апреля 15, 2015, 17:09

Название: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 15, 2015, 17:09
Допустим, есть идеальные условия:


n членов жюри, где  n > 2
m конкурсных работ, где m = kn >> n
Каждый член жюри тратит время на чтение и оценку конкурсной работы t (т.е. для простоты принято одинаковое время, остальным пренебрегаем)


Придумать такой способ работы судей и оценки работ, чтобы суммарное время оценки конкурса было минимальным, а результат - приемлемо адекватный.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: flannan от Апреля 15, 2015, 17:18
Для этой задачи нам нужна модель судьи.
Насколько приемлемо рассматривать судей, которые любые работы воспринимают одинаково адекватно, но используют разные диапазоны оценок?

P.S. а вообще хорошо при проверке олимпиад по естественнонаучным предметам. Там можно даже заранее согласовать шкалу оценок в пределах одной задачи между судьями. Таким образом, даже если в какой-то задаче оценки выдают слишком скупо или слишком щедро - их всем участникам выдают одинаково, несмотря на то, что каждую работу проверяет только один судья.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 15, 2015, 17:25
Для этой задачи нам нужна модель судьи.
Насколько приемлемо рассматривать судей, которые любые работы воспринимают одинаково адекватно, но используют разные диапазоны оценок?

P.S. а вообще хорошо при проверке олимпиад по естественнонаучным предметам. Там можно даже заранее согласовать шкалу оценок в пределах одной задачи между судьями. Таким образом, даже если в какой-то задаче оценки выдают слишком скупо или слишком щедро - их всем участникам выдают одинаково, несмотря на то, что каждую работу проверяет только один судья.


Оценка судей и субъективна и адекватна.

Определение способа оценки и будет решение задачки.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: Pashukan от Апреля 15, 2015, 17:34
Оценка судей и субъективна и адекватна.

Исходя из этого, ответ: Каждую работу читает только 1 судья. По условиям задачи, судья выдает адекватную оценку.
Оптимальное решение получено.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: flannan от Апреля 15, 2015, 17:42
Оценка судей и субъективна и адекватна.
Честно говоря, мне эта фраза мало что говорит, и ещё меньше даёт для построения модели судьи.
А без модели судьи, предполагая, что они по-разному воспринимают работы, есть только одно решение - каждую работу проверяет каждый судья и выставляет ей оценку.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 15, 2015, 19:03
Оценка судей и субъективна и адекватна.

Исходя из этого, ответ: Каждую работу читает только 1 судья. По условиям задачи, судья выдает адекватную оценку.
Оптимальное решение получено.

Слишком поспешный вывод.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 15, 2015, 19:10
Честно говоря, мне эта фраза мало что говорит, и ещё меньше даёт для построения модели судьи.
А без модели судьи, предполагая, что они по-разному воспринимают работы, есть только одно решение - каждую работу проверяет каждый судья и выставляет ей оценку.

Можно сказать так:

адекватность оценки - если каждый из судей оценит все работы, то будет n одинаковых для каждого из них работ, которые будут оценены выше, чем прочие работы.
субъективность оценки - каждый из судей может дать разную оценку этим n работам.

Т.е. при количестве судей 3, мы будем иметь такие работы, обозначенные a, b и с.
Причём первый судья может оценить их a > b > c
Второй a > c > b
Третий c > b > a
Название: Re: Задачка - оценка лит.конкурса
Отправлено: flannan от Апреля 15, 2015, 20:45
О, это уже интереснее.
Итого нам нужно два тура. В первом из них каждую работу будет читать один судья, и мы выберем из них значимые работы.
А во втором туре каждую значимую работу прочитают все остальные судьи и выставят им оценки.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 15, 2015, 21:49
Это займёт больше времени, чем обычный способ (т.е. когда все судьи читают все работы и оценивают их).

Уточним, что судьи могут читать одну и ту же работу одновременно, а не по-очереди.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: Son_of_Morning от Апреля 16, 2015, 11:50
Можно сказать так:

адекватность оценки - если каждый из судей оценит все работы, то будет n одинаковых для каждого из них работ, которые будут оценены выше, чем прочие работы.
субъективность оценки - каждый из судей может дать разную оценку этим n работам.

Т.е. при количестве судей 3, мы будем иметь такие работы, обозначенные a, b и с.
Причём первый судья может оценить их a > b > c
Второй a > c > b
Третий c > b > a

Вообще лучший способ такой:
1. Как-то понять сколько работ (не больше какого кол-ва) каждый судья готов прочитать = Х.
2. Потом нарезать (по возможности "ровно") всю совокупность книг M на n*X частей.
3. Дать каждому судье прочитать свою часть.
4. Свести все результаты (как среднее арифметическое?).

Там будут разные проблемы типа:
 - Одинаковое ли число знаков (примерно) в работах и если нет -- как сделать так, чтобы "объём текста" для каждого судьи был примерно одинаков?
 - Что лучше  (точнее что менее плохо):
   а) несколько книг прочитает на 1 судью больше(или меньше), чем остальные.
   б) нескольким судьям достанется меньше книг, чем другим -- по-моему это очень плохо, вдруг судьи обидятся?
 - Как "ровно" нарезать книги на подмножества
  а) пилишь нумерованное мн-во книг на отрезки: [1..Х], [Х+1..2*X], [2*X+1..3*X]... по кол-ву судей и каждому судье даёшь почитать свой "отрезок".
  б) пилишь нумерованное мн-во книг на отрезки: [1..X], [k+1.. k+X], [2*k+1 .. 2*k + X]. k = [M/X] + 1. или k=(M/X) -- с округлением.
Второй способ ЕМНИП самый "ровный".
 - Существует ли (наверняка в теории при построенной модели судьи и построенной модели судейской коллегии существует, но ИМХО это не наш случай) "порог отсечения Х0" после которого увеличивать Х не имеет смысла.
.......................



А вообще проблема отсутствия "правильного" решения (и категоричность моего заявления о лучшем способе  :lol: -- он лучший именно что на практике для столь субьективных оценок, как "лучшая лит. работа" да и с условием, что "судьям не платят") заключается в том, что:
1. Эта задача не имеет решения даже если все судьи прочтут все работы (в силу нетранзитивности общественного выбора). Разные способы "проведения выборов" дадут разные результаты для "лучшего".
2. Если ты хочешь "максимально приблизить" результат к варианту когда "все судьи прочтут все работы и результат будет определяться суммированием баллов" то тут не хватает нормальной модели, в которую будут входить слишком "трудноизвлекаемые" и субьективнеые данные (типа относительных предпочтений разных судей). В общем модель ты фиг. построишь.
3. Из 1) и 2) и прочих ограничений типа "1го тура", "судьям не платят".... следует, что надо просто прочитать как можно больше (в разумных пределах) работ каждому судье и поставить работы в "боле-менее равномерные относительно судей" условия. На практике это будет +/- описанный мною способ.


П.С.
Цитировать
P.S. а вообще хорошо при проверке олимпиад по естественнонаучным предметам. Там можно даже заранее согласовать шкалу оценок в пределах одной задачи между судьями. Таким образом, даже если в какой-то задаче оценки выдают слишком скупо или слишком щедро - их всем участникам выдают одинаково, несмотря на то, что каждую работу проверяет только один судья.
Ты забыл упомянуть, что "оценки за задачу" должны быть заведомо известны участникам олимпиады  ;)
Название: Re: Задачка - оценка лит.конкурса
Отправлено: flannan от Апреля 16, 2015, 12:04
Это займёт больше времени, чем обычный способ (т.е. когда все судьи читают все работы и оценивают их).

Уточним, что судьи могут читать одну и ту же работу одновременно, а не по-очереди.
Мне непонятно, почему. Возможно, я плохо изложил?
как я это вижу: в первом туре мы даём каждому судье по k работ. Из них он выбирает те, которым он готов поставить оценки выше среднего. Остальные работы отбрасываем.
во втором туре у нас остаётся относительно небольшое число работ, которые все судьи считают лучше отброшенных. Их уже читают и оценивают все судьи, после чего мы выводим из их оценок среднее арифметическое.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: Son_of_Morning от Апреля 16, 2015, 12:08
Цитировать
Мне непонятно, почему. Возможно, я плохо изложил?
Еххх мои коллеги удивительно малопрактичный народ.
Это займет больше РЕАЛЬНОГО времени от "начала конкурса" до "вынесения вердикта".
Т.к. требует дополнительной точки синхронизации -- подведения итогов 1го тура.

П.С.
при этом можно строить сколь угодно красивые теор-модели где это займёт времени меньше, но практика возьмёт своё: человеку, занятому другими делами куда проще выкроить время и сделать один объём работы (Х), чем дважды выкраивать время, будучи ограниченным жёсткими рамками. Пусть и общий объём работы будет (несколько) меньше, чем (Х).
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 16, 2015, 12:24
Еххх мои коллеги удивительно малопрактичный народ.
Это займет больше РЕАЛЬНОГО времени от "начала конкурса" до "вынесения вердикта".
Т.к. требует дополнительной точки синхронизации -- подведения итогов 1го тура.

Точно.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 16, 2015, 12:24
Цитировать
П.С.
при этом можно строить сколь угодно красивые теор-модели где это займёт времени меньше, но практика возьмёт своё: человеку, занятому другими делами куда проще выкроить время и сделать один объём работы (Х), чем дважды выкраивать время, будучи ограниченным жёсткими рамками. Пусть и общий объём работы будет (несколько) меньше, чем (Х).

Это просто задачка.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: flannan от Апреля 16, 2015, 13:45
Т.к. требует дополнительной точки синхронизации -- подведения итогов 1го тура.
Вообще-то не обязательно дожидаться синхронизации и подведения итогов. Просто каждый судья, который уже проверил свою порцию работ, начинает читать избранные работы других.
Если кто-то из судей в первом туре тормозит - можно даже взять у него часть работ, чтобы он побыстрее закончил и начал тормозить во втором туре. Но тут нам уже нужна модель судьи с разной скоростью проверки работ.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: SerGor от Апреля 16, 2015, 14:43
Цитировать
Уточним, что судьи могут читать одну и ту же работу одновременно, а не по-очереди.
Исходя из этого условия оптимальный вариант - все судьи садятся и одновременно читают первую работу, потом вторую и т.д.
Итого: каждый судья прочтет каждую работу, что даст наиболее адекватное решение судейства.

Но здесь не было озвучено главное условие - нужно ли оценить все работы, или выбрать из всех одну лучшую. От этого зависит и алгоритм.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: Witcher от Апреля 16, 2015, 14:45
Допустим, есть идеальные условия:


n членов жюри, где  n > 2
m конкурсных работ, где m = kn >> n
Каждый член жюри тратит время на чтение и оценку конкурсной работы t (т.е. для простоты принято одинаковое время, остальным пренебрегаем)


Придумать такой способ работы судей и оценки работ, чтобы суммарное время оценки конкурса было минимальным, а результат - приемлемо адекватный.
не указано самое важное - сколько должно быть победителей.

А так - рекомендую посмотреть на организацию футбольных кубков. Первый тур - отбирается несколько лучших (но обязательно не менее 4х из каждой группы), второй тур - дележка первых четырех мест.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 16, 2015, 16:39
Вообще-то не обязательно дожидаться синхронизации и подведения итогов. Просто каждый судья, который уже проверил свою порцию работ, начинает читать избранные работы других.
Если кто-то из судей в первом туре тормозит - можно даже взять у него часть работ, чтобы он побыстрее закончил и начал тормозить во втором туре. Но тут нам уже нужна модель судьи с разной скоростью проверки работ.

Читайте внимательно условия.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 16, 2015, 16:41
Но здесь не было озвучено главное условие - нужно ли оценить все работы, или выбрать из всех одну лучшую. От этого зависит и алгоритм.

Поясните.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 16, 2015, 16:42
не указано самое важное - сколько должно быть победителей.

Тоже поясните.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: SerGor от Апреля 16, 2015, 18:41
Поясните.
А что тут пояснять?
Если задача из всех работ найти одну самую лучшую (типа на 100 баллов), то алгоритм будет один - тот же "турнирный" вариант тут может подойти.
А если задача оценить все работы, расставив их от лучшей к худшей, то другой - "турнирный" вариант тут уже не прокатит...
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 16, 2015, 23:15
А какая разница, если согласно условиям задачи?
Название: Re: Задачка - оценка лит.конкурса
Отправлено: SerGor от Апреля 17, 2015, 09:32
Разница в алгоритмах решения задачи. Они разные и не подходят друг к другу.

А если тебе не важно, то универсальное решение: все судьи одновременно смотрят все работы. Улучшить результат невозможно из-за недостаточности условий.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 17, 2015, 09:42
Цитировать
Разница в алгоритмах решения задачи. Они разные и не подходят друг к другу.

Причина не очевидна. На первый взгляд кажется, что для того чтобы найти одну лучшую работу необходимо оценить все остальные работы.

Цитировать
Улучшить результат невозможно из-за недостаточности условий.

Каких условий недостаточно?
Название: Re: Задачка - оценка лит.конкурса
Отправлено: SerGor от Апреля 17, 2015, 09:50
Цитировать
Каких условий недостаточно?
Ты издеваешься?
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 17, 2015, 15:30
Не, реально.

Такое ощущение что ты воспринимаешь это как задачу про реальный конкурс.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: SerGor от Апреля 17, 2015, 15:45
Какая разница, реальный или нет? Условий недостаточно. Каких именно и почему, я уже писал.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 17, 2015, 19:56
А я не понимаю.

На пальцах поясни.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: Witcher от Апреля 17, 2015, 21:36
А я не понимаю.

На пальцах поясни.
На примере: в случае, если нужно отобрать одного победителя в серии одиночных матчей, ведется игра на выбывание, где одного проигрыша достаточно для вылета (это гарантирует, что для нахождения победителя достаточно минимального количества матчей). Но такой подход совершенно не гарантирует, что второе место получит действительно второй по силе игрок, поскольку он может вылететь в первом же матче, встретившись с первым по силе.
Название: Re: Задачка - оценка лит.конкурса
Отправлено: ArK от Апреля 17, 2015, 22:13
Вот теперь понятно, спасибо.