Сообщения 1 - 10 из 26
Переход на страницу   >>  
RSS
Еще раз про... рейтинг
 
Это мало кто дочитает до конца, но публиковать нужно.

Д.Тихонов

Во мне проснулась мания величия, я решил открыть еще одну ветку по рейтинг.

Так получилось, что "хорошая, добрая дискуссия" вызвала у меня желание пофилософствовать, сформулировать, если хотите, теоретические аспекты рейтинга. Не закрыть тему - боже упаси, настолько моя мания величия не распространяется, а просто более четко определить некоторые понятия, чтобы в дальнейшем разговор шел на одном языке.

Начну с того, что у каждого игрока есть сила, которую мы хотим тем или иным образом, с той или иной целью измерить. Оценкой силы в конкретный момент времени можно считать результаты его выступления в турнире - оценкой наиболее точной, но все равно приблизительной, поскольку на результат может повлиять, помимо силы, масса факторов. Давайте вспомним прошлогодний отбор на ЧЕ - какую роль в его итогах сыграла действительная сила команд, а какую - погода?

Но тем не менее с допустимым приближением можно считать, что результаты турнира есть показатель силы участника в конкретный момент времени. Однако вряд ли нас интересует сила одномоментная. Более интересна ее оценка за некоторый период времени. Тогда и возникает рейтинг - некоторым образом полученное числовое выражение этой силы.

Итак, рейтинг - это числовое выражение силы игрока за определенный период времени.

Подчеркиваю важнейший вывод, к которому мы уже пришли: рейтинг - это такая штука, с помощью которой мы пытаемся измерить абстрактную и заведомо неизмеримую величину. В этом смысле Рустам, безусловно, прав - истина (если она существует) лежит посредине между всем. Поэтому говорить об идеальном рейтинге вообще бессмысленно, ибо идеальный рейтинг - это тот, который абсолютно точно выдает результат измерения несуществующего объекта.

Еще интересный вопрос: а что показывает числовое значение рейтинга? Правильный ответ - ничего. Ибо с помощью рейтинга мы оцениваем силу игрока, а в чем она выражается, никто не знает. Не в Ньютонах же, в самом деле!

Тогда для чего нужно это числовое значение? А очень просто - для сравнения. Ничто не подходит для сравнения лучше, чем числа; любому понятно, что больше - X или Y, если и X, и Y - числа. Применительно к рейтингу: мы считаем, что один игрок сильнее другого, если у него рейтинг больше.

Собственно, мы могли бы вообще обойтись без чисел в рейтинг-листах - нам достаточно просто занятого места. Вспомните теннис: всех интересует первая ракетка мира, первая десятка, первая двадцатка... А про очки начинают вспоминать только в ходе рассуждений типа "а что нужно Шараповой, чтобы снова стать первой". Ну и еще числовые значения рейтинга нужны для контроля правильности проведения расчетов.

Итак, числовые значения рейтинга нужны только для сравнения, для определения более сильного игрока.

Поэтому бессмысленно говорить об использовании "надуманных" коэффициентов в том или ином рейтинге: важны не сами коэффициенты, а результаты, которые получаются с их помощью. Они могут быть сколь угодно странными, если от этого рейтинг становится лучше.

В этих условиях встает вопрос "а можно ли вообще сравнивать различные методики расчета рейтинга?"

Можно. Дело в том, что каждая методика имеет, как минимум, две характеристики - сложность и точность. Ясно, что чем точнее система, тем она ближе к истине; но это совсем не значит, что наиболее точная система - самая лучшая.

На мой взгляд, наибольшую точность при оценке игрока может обеспечить система, построенная на принципах ДТН или близких к ней. Оценивая каждый бросок каждого игрока на каждом турнире (включая самые что ни на есть товарищеские), добавив к этому максимально формализованные правила оценки каждого броска, научившись учитывать задачи, стоящие перед игроком в момент входа в круг, можно получить набор значений, из которого - объединив данные некоторым образом - скорее всего, удастся получить оценку силы игрока с очень высоким приближением к истине. Но трудно себе представить, каких усилий строит посчитать такой рейтинг...

Еще интересный вариант - экспертный рейтинг. Это когда уважаемые эксперты оценивают силу игрока, точнее - сравнивают попарно силу игроков, и говорят: этот сильнее. В итоге у каждого получается отсортированный список. Существуют специальные общепризнанные методики объединения мнения нескольких экспертов в один экспертный рейтинг. Например, именно на основе экспертного рейтинга проводилось судейство соревнований по фигурному катанию в "докомпьютерную эру".

Понятно, что экспертный рейтинг тоже достаточно трудоемок и во много раз более субъективен.

Из сказанного постепенно становится понятно, что мы должны стремиться построить такой рейтинг, который обеспечивает максимальную точность при адекватной сложности. Ключевым здесь является именно слово "адекватный": рейтинг может быть простым или сложным, более или менее точным, но затраты на его расчет должны быть соизмеримы с приближением к истине. В разумных пределах можно пожертвовать одним в угоду другому.

Когда в 2011 году я затевал нечто неудобоваримо сложное, что получило потом название "рейтинг В.Крапиля", я полагал, что сумею настолько существенно повысить точность, что это оправдает сложность рейтинга. Когда этого не произошло, я отказался от этой методики - именно потому, что сложность ничем не окупалась. На самом деле я и сейчас считаю, что она была едва ли не самой точной - но из тех, которые учитывали результаты триплетов в индивидуальном рейтинге... а об этом чуть позже.

Остается выяснить, как же оценить простоту и точность методики.

Простота - вещь сугубо субъективная и зависит от уровня желания "въезжать" в систему. Конечно, если взять Витин рейтинг, то по простоте он вне конкуренции: справится даже первоклассник, ибо начисление очков за турнир не требует арифметических действий, а итог получается простым суммированием. Только вот в отличие от него официальный индивидуальный рейтинг (слишком сложный, как недавно было сказано, для "нематематиков") требует подготовки уже на уровне второго класса, потому что на этапе учета типа турнира и года используется умножение на два. А уж командный рейтинг - это вообще что-то невообразимо сложное, ибо там применяется не только деление, но выбираются "пять лучших результатов за календарный год" - это вообще, знаете ли... Между тем, в 2009-2011 году при подсчете рейтинга использовалось возведение в дробную степень (это вузовский уровень), и никто особо не роптал. Правда, у того рейтинга были другие недостатки.

Теперь точность. Задача оценки точности рейтинга является в высшей степени творческой, ибо подразумевает выяснение, какая из двух точек ближе к третьей (реальной силе), причем где находится третья - никто не знает. Лучший ответ я получил, если не ошибаюсь, от Саши Лютикова, которому я предложил оценить два результата, полученные по сходным, но немного различающимся методикам, и который сказал: "Первый рейтинг мне нравится больше - я в нем выше".

Получается, что оценка степени точности рейтинга тоже является абсолютно субъективной!

Так что, нет никаких способов более объективного сравнения двух методик? Есть. Я бы назвал эти способы "метод оценки результата" и "метод отсечения".

Начну со второго. Известно, что для того, чтобы доказать правильность некоторого суждения, нужно тем или иным образом доказать его правильность во всех случаях. А для того, чтобы опровергнуть, достаточно найти один-единственный пример. И если такой пример находится, если рейтинг показывает то, чего в принципе не может быть, методику уточняют или полностью меняют. То есть отсекают те методики, которые дают заведомо недостоверный результат.

Что такое недостоверный результат? В моем понимании - это результат, противоречащий здравому смыслу. Это результат, который будет противоречить как минимум 99% экспертных рейтингов при практически любом составе экспертов (если они хоть что-то понимают в оценке силы игрока).

Именно по "методу отсечения" я отбросил рейтинг имени меня. Но не только его: на этом примере я полностью отсек любой индивидуальный рейтинг, учитывающий выступления в триплетах. Дело в том, что до тех пор, пока мы не будем оценивать вклад каждого из четырех игроков в триплет (а мы не будем это делать, потому что тогда сложность рейтинга станет неадекватной), мы не сможем избежать "казуса Миши Судника": игрок, заявленный за команду, регулярно выигрывающую турниры триплетов, и при этом проводящий на лавке 80, 90, порой до 100 процентов игрового времени, за счет успехов команды поднимается в индивидуальном рейтинге до уровня первой десятки, а то и первой пятерки. Но он же не становится от этого сильнее, и 99% экспертов (даже виртуальных) не поставят его в первую пятерку. Значит, по "методу отсечения" полученный результат не может считаться рейтингом.

(Кстати, казус Миши Судника - это не теоретизирование, а вполне реальный случай, причем неоднократный: в большей или меньшей степени он проявлялся дважды, а то и трижды. Имена называть не буду, знающие люди сами догадаются)

Витин рейтинг тоже не свободен от казуса, названного именем его собственного сына. Но - впридачу к этому - в нем заложена и другая нелогичность, на которую я и обратил внимание. Согласитесь, ни один эксперт не признает игрока Б (8е место из 80 и последнее из 70) сильнее игрока А (победа в турнире из 70 и последнее место из 80).

Витя часто упрекал меня за то, что мой рейтинг - это математические экзерсисы. Сегодня я отвечаю ему: его арифметические экзерсисы - это вообще не рейтинг. Просто по определению понятия "рейтинг".

Та оценка силы, которую показывают действующие и командный, и индивидуальный рейтинг, как мне кажется, проверку методом отсечения прошли. Я, конечно, не могу утверждать, что никогда не возникнет ситуация, в которой их поведение, их результаты окажутся за пределами здравого смысла. Но по крайней мере подобрать такой пример сходу непросто.

Хороши ли эти рейтинги? Видимо, здесь уже придется вспомнить про "метод оценки результата". Этот метод строится на законе больших чисел. На первом этапе, что называется, каждый сам себе хозяин: нужно смотреть на тот или иной рейтинг, исходя из собственных представлений о силе участников. И видеть, что вот здесь рейтинг повел себя (по собственному экспертному мнению) неправильно: согласно ему игрок К сильнее, чем игрок М, а опыт эксперта говорит о противоположном. В зависимости от того, сколько таких ошибок накопится, у скольких экспертов и насколько они будут грубы, можно будет говорить об оценке качества рейтинга в целом. Понятно, что при сравнении рейтингов из нескольких вариантов разумно выбрать тот, который выше качеством.

И при этом, повторю, нельзя забывать о простоте. Скажем, официальный индивидуальный рейтинг настолько прост, что я готов был простить ему не слишком высокую точность. Однако, получив результаты с учетом, мягко говоря, неожиданных итогов зимнего тета, я с интересом обнаружил, что он гораздо точнее, чем я о нем думал. Да, безусловно, выигрыш самого ценного турнира поднял Диму Кривоноса (если бы у него была лицензия) до уровня первой десятки - на 8-е место. Ну а на до каких высот взлетают в рейтинге теннисисты, выигрывающие турнир Большого Шлема? Но постоянные успехи Кости, Димы Жилина, того же Вити одним выигрышем не перебить. И это правильно.

Действующий командный рейтинг и сложнее, и точнее. И это тоже правильно, поскольку он используется для гораздо более значимых целей.

Как я говорил в начале, моя мания величия не заходит так далеко, чтобы предположить, что этими рассуждениями я поставлю точку в споре, который только на этом сайте с разной степенью активности длится уже шестой год. Более того, мне интересно, согласны ли со мной друзья-петанкуисты в том, что такое рейтинг. Я готов выслушать экспертные мнения в рамках метода оценки результата. Более того, я буду благодарен, если кто-то найдет примеры, позволяющие говорить о необходимости применения метода отсечения. Но до тех пор, пока такие примеры не найдены, я не предполагаю в этой дискуссии попытки изобрести какую-то новую рейтинговую систему. На мой взгляд, оба сегодняшних рейтинга достаточно просты и достаточно точны для задач, стоящих перед ними.
Нет невыполнимой работы для человека, который не будет делать ее сам
 
Я дочитал... до конца...
Надо переварить.. :)
 
Прочитал до конца. Может быть ещё раз утром или днём перечитаю - на свежую голову.
Валера в скользь упомянул о главном: для чего нам рейтинг.
1. Заострил внимание на командном (триплете), что это самый важный (у меня нет возражений) рейтинг. Моё мнение: преимущества действующего "официального" рейтинга несомненно выше, чем ряд недостатков и он достаточно точно определяет "ранжировку" наших команд перед посевом на очередной турнир. И четвёрка на отбор Сборной так-же "правильная". Повторяю - это моё субъективное мнение, которое имеет право на высказывание мною.
2. Индивидуальный (может быть и не для большинства) чисто для морального удовлетворения. ПОКА, Сборная определяется по командному принципу!!! И хорошо, что мы сегодня дискутируем по этому вопросу. Трудно по двум (и по трём) турнирам в году нивелировать погрешность любого рейтинга. Если два или три раза подряд выпадает решка, то это не отменяет теорию вероятности с её 50 на 50. У нас система турнира была летом такова, что два или три человека с тремя очками попали в Кубок А. А трое (может быть 2 или 4) не попали с этими же тремя очками в Кубок С ! И решить мог всего один неудачный твой бросок или один удачный соперника.
Давайте обсуждать, без перехода на личности, чисто теоретические варианты.

P.S. Хорошо, что Валера отдельную ветку завёл на рейтинг. Таку же надо и на определение Сборной завести и прочие вопросы, которые мы муссируем из года в год.
Причём в самых неожиданных ветках (темах).
Всем успехов на поляне! Играйте в петанк!!!
 
"Давайте вспомним прошлогодний отбор на ЧЕ - какую роль в его итогах сыграла действительная сила команд, а какую - погода?"-ВСЕ БЫЛИ В ОДИНАКОВЫХ УСЛОВИЯХ. ЕО ответил мне четко и коротко-надо быть в призах на турнирах и будет высокий РЕЙТИНГ.
 
и я все прочел :)
разделяю следующую точку зрения:
сегодняшний рейтинг и лич и командный достаточно просты и точность их выше или достаточна, чем "недостоверность"

И , что важно, Валера впервые систематизировал наши чаянья в понимании "рейтинг". Кто прочтет внимательно, возможно, по другому взглянет на прошлые диспуты и "важное" и "второстепенное".

Валера, спасибо.
 
Цитата
Алексей пишет:

Цитата
Тихон пишет:

...или он не занимал за последние два года места в 16 лучших на турнирах тетов или дуплетов...
...

То есть, с тремя баллами достаточно просто приходить на турниры - и из года в год ты в рейтинге. А тем, кто начал позже, выигрывает, но не входит в 16, в рейтинге себя не увидеть.
Прикольная система...

 
Цитата
Владимир (БМВ) пишет:

Цитата
Алексей пишет:

Цитата
Тихон пишет:

...или он не занимал за последние два года места в 16 лучших на турнирах тетов или дуплетов...
...

То есть, с тремя баллами достаточно просто приходить на турниры - и из года в год ты в рейтинге. А тем, кто начал позже, выигрывает, но не входит в 16, в рейтинге себя не увидеть.
Прикольная система...

Алексей, привет.
Когда обсуждали "Кодекс", то одним из моих предложений было расширить количество получающих рейтинговые очки в тетах минимум до 32.
Рейтинг Вити Судника всем, принявшим участие в турнире, даёт очки - и это правильно (кмк).
В принятый Кодекс это предложение не прошло.
Обещали осенью "подумать..."
Ты сформулируй свои предложения и осенью поддержи меня.
Вопрос не горящий, но когда он косается к.л. персонально, то регулярно возникает.
 
Цитата
Алексей пишет:

Цитата
Владимир (БМВ) пишет:

...
Алексей, привет.
Когда обсуждали "Кодекс", то одним из моих предложений было расширить количество получающих рейтинговые очки в тетах минимум до 32.
Рейтинг Вити Судника всем, принявшим участие в турнире, даёт очки - и это правильно (кмк).
В принятый Кодекс это предложение не прошло.
Обещали осенью "подумать..."
Ты сформулируй свои предложения и осенью поддержи меня.
Вопрос не горящий, но когда он косается к.л. персонально, то регулярно возникает.

Дядя Вова, мое почтение!
Присмотрюсь к Кодексу повнимательней теперь, постараюсь не упустить обсуждение! :)
Лично мне кажется, что сколько человек играет, столько и должны получать очки. Ну вопрос с лицензиями, согласен, имеет смысл. Но 16 или 32 - какая-то пальцем в небо цифра: все игроки в равных правах, но считают почему-то не всех, безотносительно побед или поражений. Основания? "...Воимя Господа?.."(с) :) Простите))

 
Цитата
Владимир (БМВ) пишет:

Конечно, все кто принял участие в турнире должны получить очки. Рейтинг в триплетах такой! Почему инд. считается по другим принципам - для меня загадка...
 
Спасибо Рус!
Сообщения 1 - 10 из 26
Переход на страницу   >>  
Читают тему (гостей: 1)