Здравствуйте, Гость

Автор Тема: Задачка - оценка лит.конкурса  (Прочитано 4546 раз)

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Задачка - оценка лит.конкурса
« : Апреля 15, 2015, 17:09 »
Допустим, есть идеальные условия:


n членов жюри, где  n > 2
m конкурсных работ, где m = kn >> n
Каждый член жюри тратит время на чтение и оценку конкурсной работы t (т.е. для простоты принято одинаковое время, остальным пренебрегаем)


Придумать такой способ работы судей и оценки работ, чтобы суммарное время оценки конкурса было минимальным, а результат - приемлемо адекватный.

Онлайн flannan

  • Модератор
  • Легенда форума
  • ******
  • Сообщений: 6 326
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #1 : Апреля 15, 2015, 17:18 »
Для этой задачи нам нужна модель судьи.
Насколько приемлемо рассматривать судей, которые любые работы воспринимают одинаково адекватно, но используют разные диапазоны оценок?

P.S. а вообще хорошо при проверке олимпиад по естественнонаучным предметам. Там можно даже заранее согласовать шкалу оценок в пределах одной задачи между судьями. Таким образом, даже если в какой-то задаче оценки выдают слишком скупо или слишком щедро - их всем участникам выдают одинаково, несмотря на то, что каждую работу проверяет только один судья.
« Последнее редактирование: Апреля 15, 2015, 17:20 от flannan »

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #2 : Апреля 15, 2015, 17:25 »
Для этой задачи нам нужна модель судьи.
Насколько приемлемо рассматривать судей, которые любые работы воспринимают одинаково адекватно, но используют разные диапазоны оценок?

P.S. а вообще хорошо при проверке олимпиад по естественнонаучным предметам. Там можно даже заранее согласовать шкалу оценок в пределах одной задачи между судьями. Таким образом, даже если в какой-то задаче оценки выдают слишком скупо или слишком щедро - их всем участникам выдают одинаково, несмотря на то, что каждую работу проверяет только один судья.


Оценка судей и субъективна и адекватна.

Определение способа оценки и будет решение задачки.

Оффлайн Pashukan

  • UR-D&D
  • Завсегдатай
  • *
  • Сообщений: 856
  • Homo Ludens
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #3 : Апреля 15, 2015, 17:34 »
Оценка судей и субъективна и адекватна.

Исходя из этого, ответ: Каждую работу читает только 1 судья. По условиям задачи, судья выдает адекватную оценку.
Оптимальное решение получено.

Онлайн flannan

  • Модератор
  • Легенда форума
  • ******
  • Сообщений: 6 326
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #4 : Апреля 15, 2015, 17:42 »
Оценка судей и субъективна и адекватна.
Честно говоря, мне эта фраза мало что говорит, и ещё меньше даёт для построения модели судьи.
А без модели судьи, предполагая, что они по-разному воспринимают работы, есть только одно решение - каждую работу проверяет каждый судья и выставляет ей оценку.

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #5 : Апреля 15, 2015, 19:03 »
Оценка судей и субъективна и адекватна.

Исходя из этого, ответ: Каждую работу читает только 1 судья. По условиям задачи, судья выдает адекватную оценку.
Оптимальное решение получено.

Слишком поспешный вывод.

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #6 : Апреля 15, 2015, 19:10 »
Честно говоря, мне эта фраза мало что говорит, и ещё меньше даёт для построения модели судьи.
А без модели судьи, предполагая, что они по-разному воспринимают работы, есть только одно решение - каждую работу проверяет каждый судья и выставляет ей оценку.

Можно сказать так:

адекватность оценки - если каждый из судей оценит все работы, то будет n одинаковых для каждого из них работ, которые будут оценены выше, чем прочие работы.
субъективность оценки - каждый из судей может дать разную оценку этим n работам.

Т.е. при количестве судей 3, мы будем иметь такие работы, обозначенные a, b и с.
Причём первый судья может оценить их a > b > c
Второй a > c > b
Третий c > b > a

Онлайн flannan

  • Модератор
  • Легенда форума
  • ******
  • Сообщений: 6 326
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #7 : Апреля 15, 2015, 20:45 »
О, это уже интереснее.
Итого нам нужно два тура. В первом из них каждую работу будет читать один судья, и мы выберем из них значимые работы.
А во втором туре каждую значимую работу прочитают все остальные судьи и выставят им оценки.

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #8 : Апреля 15, 2015, 21:49 »
Это займёт больше времени, чем обычный способ (т.е. когда все судьи читают все работы и оценивают их).

Уточним, что судьи могут читать одну и ту же работу одновременно, а не по-очереди.

Оффлайн Son_of_Morning

  • Старожил
  • ****
  • Сообщений: 1 940
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #9 : Апреля 16, 2015, 11:50 »
Можно сказать так:

адекватность оценки - если каждый из судей оценит все работы, то будет n одинаковых для каждого из них работ, которые будут оценены выше, чем прочие работы.
субъективность оценки - каждый из судей может дать разную оценку этим n работам.

Т.е. при количестве судей 3, мы будем иметь такие работы, обозначенные a, b и с.
Причём первый судья может оценить их a > b > c
Второй a > c > b
Третий c > b > a

Вообще лучший способ такой:
1. Как-то понять сколько работ (не больше какого кол-ва) каждый судья готов прочитать = Х.
2. Потом нарезать (по возможности "ровно") всю совокупность книг M на n*X частей.
3. Дать каждому судье прочитать свою часть.
4. Свести все результаты (как среднее арифметическое?).

Там будут разные проблемы типа:
 - Одинаковое ли число знаков (примерно) в работах и если нет -- как сделать так, чтобы "объём текста" для каждого судьи был примерно одинаков?
 - Что лучше  (точнее что менее плохо):
   а) несколько книг прочитает на 1 судью больше(или меньше), чем остальные.
   б) нескольким судьям достанется меньше книг, чем другим -- по-моему это очень плохо, вдруг судьи обидятся?
 - Как "ровно" нарезать книги на подмножества
  а) пилишь нумерованное мн-во книг на отрезки: [1..Х], [Х+1..2*X], [2*X+1..3*X]... по кол-ву судей и каждому судье даёшь почитать свой "отрезок".
  б) пилишь нумерованное мн-во книг на отрезки: [1..X], [k+1.. k+X], [2*k+1 .. 2*k + X]. k = [M/X] + 1. или k=(M/X) -- с округлением.
Второй способ ЕМНИП самый "ровный".
 - Существует ли (наверняка в теории при построенной модели судьи и построенной модели судейской коллегии существует, но ИМХО это не наш случай) "порог отсечения Х0" после которого увеличивать Х не имеет смысла.
.......................



А вообще проблема отсутствия "правильного" решения (и категоричность моего заявления о лучшем способе  :lol: -- он лучший именно что на практике для столь субьективных оценок, как "лучшая лит. работа" да и с условием, что "судьям не платят") заключается в том, что:
1. Эта задача не имеет решения даже если все судьи прочтут все работы (в силу нетранзитивности общественного выбора). Разные способы "проведения выборов" дадут разные результаты для "лучшего".
2. Если ты хочешь "максимально приблизить" результат к варианту когда "все судьи прочтут все работы и результат будет определяться суммированием баллов" то тут не хватает нормальной модели, в которую будут входить слишком "трудноизвлекаемые" и субьективнеые данные (типа относительных предпочтений разных судей). В общем модель ты фиг. построишь.
3. Из 1) и 2) и прочих ограничений типа "1го тура", "судьям не платят".... следует, что надо просто прочитать как можно больше (в разумных пределах) работ каждому судье и поставить работы в "боле-менее равномерные относительно судей" условия. На практике это будет +/- описанный мною способ.


П.С.
Цитировать
P.S. а вообще хорошо при проверке олимпиад по естественнонаучным предметам. Там можно даже заранее согласовать шкалу оценок в пределах одной задачи между судьями. Таким образом, даже если в какой-то задаче оценки выдают слишком скупо или слишком щедро - их всем участникам выдают одинаково, несмотря на то, что каждую работу проверяет только один судья.
Ты забыл упомянуть, что "оценки за задачу" должны быть заведомо известны участникам олимпиады  ;)
« Последнее редактирование: Апреля 16, 2015, 12:19 от Son_of_Morning »

Онлайн flannan

  • Модератор
  • Легенда форума
  • ******
  • Сообщений: 6 326
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #10 : Апреля 16, 2015, 12:04 »
Это займёт больше времени, чем обычный способ (т.е. когда все судьи читают все работы и оценивают их).

Уточним, что судьи могут читать одну и ту же работу одновременно, а не по-очереди.
Мне непонятно, почему. Возможно, я плохо изложил?
как я это вижу: в первом туре мы даём каждому судье по k работ. Из них он выбирает те, которым он готов поставить оценки выше среднего. Остальные работы отбрасываем.
во втором туре у нас остаётся относительно небольшое число работ, которые все судьи считают лучше отброшенных. Их уже читают и оценивают все судьи, после чего мы выводим из их оценок среднее арифметическое.

Оффлайн Son_of_Morning

  • Старожил
  • ****
  • Сообщений: 1 940
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #11 : Апреля 16, 2015, 12:08 »
Цитировать
Мне непонятно, почему. Возможно, я плохо изложил?
Еххх мои коллеги удивительно малопрактичный народ.
Это займет больше РЕАЛЬНОГО времени от "начала конкурса" до "вынесения вердикта".
Т.к. требует дополнительной точки синхронизации -- подведения итогов 1го тура.

П.С.
при этом можно строить сколь угодно красивые теор-модели где это займёт времени меньше, но практика возьмёт своё: человеку, занятому другими делами куда проще выкроить время и сделать один объём работы (Х), чем дважды выкраивать время, будучи ограниченным жёсткими рамками. Пусть и общий объём работы будет (несколько) меньше, чем (Х).
« Последнее редактирование: Апреля 16, 2015, 12:13 от Son_of_Morning »

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #12 : Апреля 16, 2015, 12:24 »
Еххх мои коллеги удивительно малопрактичный народ.
Это займет больше РЕАЛЬНОГО времени от "начала конкурса" до "вынесения вердикта".
Т.к. требует дополнительной точки синхронизации -- подведения итогов 1го тура.

Точно.

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #13 : Апреля 16, 2015, 12:24 »
Цитировать
П.С.
при этом можно строить сколь угодно красивые теор-модели где это займёт времени меньше, но практика возьмёт своё: человеку, занятому другими делами куда проще выкроить время и сделать один объём работы (Х), чем дважды выкраивать время, будучи ограниченным жёсткими рамками. Пусть и общий объём работы будет (несколько) меньше, чем (Х).

Это просто задачка.

Онлайн flannan

  • Модератор
  • Легенда форума
  • ******
  • Сообщений: 6 326
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #14 : Апреля 16, 2015, 13:45 »
Т.к. требует дополнительной точки синхронизации -- подведения итогов 1го тура.
Вообще-то не обязательно дожидаться синхронизации и подведения итогов. Просто каждый судья, который уже проверил свою порцию работ, начинает читать избранные работы других.
Если кто-то из судей в первом туре тормозит - можно даже взять у него часть работ, чтобы он побыстрее закончил и начал тормозить во втором туре. Но тут нам уже нужна модель судьи с разной скоростью проверки работ.

Оффлайн SerGor

  • Dungeons & Dragons
  • Старейшина форума
  • *
  • Сообщений: 3 604
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #15 : Апреля 16, 2015, 14:43 »
Цитировать
Уточним, что судьи могут читать одну и ту же работу одновременно, а не по-очереди.
Исходя из этого условия оптимальный вариант - все судьи садятся и одновременно читают первую работу, потом вторую и т.д.
Итого: каждый судья прочтет каждую работу, что даст наиболее адекватное решение судейства.

Но здесь не было озвучено главное условие - нужно ли оценить все работы, или выбрать из всех одну лучшую. От этого зависит и алгоритм.
« Последнее редактирование: Апреля 16, 2015, 14:52 от SerGor »

Оффлайн Witcher

  • Eternal Order
  • Старожил
  • *
  • Сообщений: 1 669
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #16 : Апреля 16, 2015, 14:45 »
Допустим, есть идеальные условия:


n членов жюри, где  n > 2
m конкурсных работ, где m = kn >> n
Каждый член жюри тратит время на чтение и оценку конкурсной работы t (т.е. для простоты принято одинаковое время, остальным пренебрегаем)


Придумать такой способ работы судей и оценки работ, чтобы суммарное время оценки конкурса было минимальным, а результат - приемлемо адекватный.
не указано самое важное - сколько должно быть победителей.

А так - рекомендую посмотреть на организацию футбольных кубков. Первый тур - отбирается несколько лучших (но обязательно не менее 4х из каждой группы), второй тур - дележка первых четырех мест.

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #17 : Апреля 16, 2015, 16:39 »
Вообще-то не обязательно дожидаться синхронизации и подведения итогов. Просто каждый судья, который уже проверил свою порцию работ, начинает читать избранные работы других.
Если кто-то из судей в первом туре тормозит - можно даже взять у него часть работ, чтобы он побыстрее закончил и начал тормозить во втором туре. Но тут нам уже нужна модель судьи с разной скоростью проверки работ.

Читайте внимательно условия.

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #18 : Апреля 16, 2015, 16:41 »
Но здесь не было озвучено главное условие - нужно ли оценить все работы, или выбрать из всех одну лучшую. От этого зависит и алгоритм.

Поясните.

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #19 : Апреля 16, 2015, 16:42 »
не указано самое важное - сколько должно быть победителей.

Тоже поясните.

Оффлайн SerGor

  • Dungeons & Dragons
  • Старейшина форума
  • *
  • Сообщений: 3 604
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #20 : Апреля 16, 2015, 18:41 »
Поясните.
А что тут пояснять?
Если задача из всех работ найти одну самую лучшую (типа на 100 баллов), то алгоритм будет один - тот же "турнирный" вариант тут может подойти.
А если задача оценить все работы, расставив их от лучшей к худшей, то другой - "турнирный" вариант тут уже не прокатит...

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #21 : Апреля 16, 2015, 23:15 »
А какая разница, если согласно условиям задачи?

Оффлайн SerGor

  • Dungeons & Dragons
  • Старейшина форума
  • *
  • Сообщений: 3 604
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #22 : Апреля 17, 2015, 09:32 »
Разница в алгоритмах решения задачи. Они разные и не подходят друг к другу.

А если тебе не важно, то универсальное решение: все судьи одновременно смотрят все работы. Улучшить результат невозможно из-за недостаточности условий.

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #23 : Апреля 17, 2015, 09:42 »
Цитировать
Разница в алгоритмах решения задачи. Они разные и не подходят друг к другу.

Причина не очевидна. На первый взгляд кажется, что для того чтобы найти одну лучшую работу необходимо оценить все остальные работы.

Цитировать
Улучшить результат невозможно из-за недостаточности условий.

Каких условий недостаточно?

Оффлайн SerGor

  • Dungeons & Dragons
  • Старейшина форума
  • *
  • Сообщений: 3 604
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #24 : Апреля 17, 2015, 09:50 »
Цитировать
Каких условий недостаточно?
Ты издеваешься?

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #25 : Апреля 17, 2015, 15:30 »
Не, реально.

Такое ощущение что ты воспринимаешь это как задачу про реальный конкурс.

Оффлайн SerGor

  • Dungeons & Dragons
  • Старейшина форума
  • *
  • Сообщений: 3 604
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #26 : Апреля 17, 2015, 15:45 »
Какая разница, реальный или нет? Условий недостаточно. Каких именно и почему, я уже писал.

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #27 : Апреля 17, 2015, 19:56 »
А я не понимаю.

На пальцах поясни.

Оффлайн Witcher

  • Eternal Order
  • Старожил
  • *
  • Сообщений: 1 669
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #28 : Апреля 17, 2015, 21:36 »
А я не понимаю.

На пальцах поясни.
На примере: в случае, если нужно отобрать одного победителя в серии одиночных матчей, ведется игра на выбывание, где одного проигрыша достаточно для вылета (это гарантирует, что для нахождения победителя достаточно минимального количества матчей). Но такой подход совершенно не гарантирует, что второе место получит действительно второй по силе игрок, поскольку он может вылететь в первом же матче, встретившись с первым по силе.

Оффлайн ArK

  • Старожил
  • ****
  • Сообщений: 1 701
    • Просмотр профиля
Re: Задачка - оценка лит.конкурса
« Ответ #29 : Апреля 17, 2015, 22:13 »
Вот теперь понятно, спасибо.