Разбирая архив материалов, полученных осенью 2009 года от Жан-Ива, натолкнулся на подробное описание системы оценки – видимо, той самой, которую предполагает использовать НТУ. Самостоятельно проштудировав методику (мне кажется, что после компьютерного перевода я понял процентов 90 написанного), мы решили применить ее на практике, а именно в ходе вчерашней тренировки нашей новой команды.
В двух словах о методике: она позволяет оценить каждый брошенный шар в зависимости от результата. Правила выставления оценки за пойнт и тир разные, но шкалы совместимые, что дает возможность набирать статистику игрока (команды) как по разным действиям по отдельности, так по игре в целом. Шкалы девятибалльные, хотя две наилучших и две наихудших оценки выставляются довольно редко. Имеются правила учета фактора случайности. На выходе для каждого игрока получаются три оценки – интенсивность (доля сыгранных шаров, принесших пользу), результативность (оценка размера этой пользы) и эффективность как интегральная оценка (объединение интенсивности и результативности).
Использовали мы систему оценки следующим образом. Мы играли дуплетами в разных сочетаниях пар и ролей. Первые три игры после каждого броска мы коллективно выставляли оценку. Следующие игры оценку ставил каждый самостоятельно и по секрету от других, а в конце раунда оценки сравнивались.
Какие выводы я бы сделал по итогам этой тренировки?
1. Система достаточна проста в изучении. После трех учебных игр (это 20 раундов или 240 шаров) результаты самостоятельной оценки оказались удовлетворительно близкими – расхождение больше чем в один балл по девятибалльной шкале было довольно редким исключением.
2. Получившаяся статистика по оценкам, выставленным нашим «коллективным разумом», довольно верно отражает результат (цифры вполне совпали с моей самооценкой. Надеюсь, что вообще-то я играю лучше, чем вчера)
3. Для точной оценки необходимо находиться на площадке. Шар (особенно первый) оценивается по расстоянию, на котором он оказался от кошонета, а с противоположного края дорожки отличить 60см от метра (а это разница в два балла) может не каждый.
4. Для точной оценки необходимо находиться «в команде». Не случайно же Жан-Ив пишет, что лучше всего с задачей оценки справится тренер команды! Один и тот же бросок с одним и тем же результатом может оказаться оцененным по-разному в зависимости от задачи, которая ставилась. Так, если целью было «поставить очко», то шар, уткнувшийся в шар соперника, – откровенная неудача. Если же команда перешла к защите, то такой шар – очевидный успех.
5. Система, на мой взгляд, оценщикозависима. Это значит, что одна и та же игра разными оценщиками может быть оценена по-разному, просто потому, что одни люди подходят к броску с более жесткими критериям, другие наоборот. Сдвиг оценки в этом случае может оказаться статистически значимым: игрок А имеет в целом более высокую оценку, чем игрок Б не потому, что играет лучше, а потому, что его оценщик оказался «добрее».
Теперь просьбы и предложения.
1. Предлагаю НТУ опубликовать подробную методику оценки на сайте. Конечно, я могу сделать это и сам, но не считаю это корректным. К тому же, как известно, «дьявол в деталях»: ведь это только мне кажется, что я понял 90% методики – а вдруг меньше? Публикация методики позволит познакомиться с ней максимально широкому кругу игроков, что не только даст людям, дающим согласие сотрудничать с НТУ, понимать, на что они подписываются, но и расширит потенциальное число людей, которых можно привлекать к оценке.
2. Предлагаю в отдельной ветке разбирать оценку конкретных игровых ситуаций, которые встречаются на площадке. Это даст возможность придти к максимально единообразному толкованию оценок всеми заинтересованными сторонами.
3. Я бы очень просил НТУ рассказать их взгляд на то, что с этими оценками надо делать дальше. Я-то для себя построил математическую модель, на основе которой мы получили предварительно распределение ролей в команде (кстати, если кому интересно – могу поделиться). Но это локальная задача, ошибка в которой менее страшна, чем при решении задач отбора.
В целом мне кажется, что предлагаемая система оценки окажется полезной каждому игроку, поскольку дает возможность получить объективно-отстраненный взгляд на себя (в конце концов, никто не мешает оценивать только собственные действия). Что касается использования ее для других целей, то для рассуждения на эту тему хотелось бы больше подробностей...
В двух словах о методике: она позволяет оценить каждый брошенный шар в зависимости от результата. Правила выставления оценки за пойнт и тир разные, но шкалы совместимые, что дает возможность набирать статистику игрока (команды) как по разным действиям по отдельности, так по игре в целом. Шкалы девятибалльные, хотя две наилучших и две наихудших оценки выставляются довольно редко. Имеются правила учета фактора случайности. На выходе для каждого игрока получаются три оценки – интенсивность (доля сыгранных шаров, принесших пользу), результативность (оценка размера этой пользы) и эффективность как интегральная оценка (объединение интенсивности и результативности).
Использовали мы систему оценки следующим образом. Мы играли дуплетами в разных сочетаниях пар и ролей. Первые три игры после каждого броска мы коллективно выставляли оценку. Следующие игры оценку ставил каждый самостоятельно и по секрету от других, а в конце раунда оценки сравнивались.
Какие выводы я бы сделал по итогам этой тренировки?
1. Система достаточна проста в изучении. После трех учебных игр (это 20 раундов или 240 шаров) результаты самостоятельной оценки оказались удовлетворительно близкими – расхождение больше чем в один балл по девятибалльной шкале было довольно редким исключением.
2. Получившаяся статистика по оценкам, выставленным нашим «коллективным разумом», довольно верно отражает результат (цифры вполне совпали с моей самооценкой. Надеюсь, что вообще-то я играю лучше, чем вчера)
3. Для точной оценки необходимо находиться на площадке. Шар (особенно первый) оценивается по расстоянию, на котором он оказался от кошонета, а с противоположного края дорожки отличить 60см от метра (а это разница в два балла) может не каждый.
4. Для точной оценки необходимо находиться «в команде». Не случайно же Жан-Ив пишет, что лучше всего с задачей оценки справится тренер команды! Один и тот же бросок с одним и тем же результатом может оказаться оцененным по-разному в зависимости от задачи, которая ставилась. Так, если целью было «поставить очко», то шар, уткнувшийся в шар соперника, – откровенная неудача. Если же команда перешла к защите, то такой шар – очевидный успех.
5. Система, на мой взгляд, оценщикозависима. Это значит, что одна и та же игра разными оценщиками может быть оценена по-разному, просто потому, что одни люди подходят к броску с более жесткими критериям, другие наоборот. Сдвиг оценки в этом случае может оказаться статистически значимым: игрок А имеет в целом более высокую оценку, чем игрок Б не потому, что играет лучше, а потому, что его оценщик оказался «добрее».
Теперь просьбы и предложения.
1. Предлагаю НТУ опубликовать подробную методику оценки на сайте. Конечно, я могу сделать это и сам, но не считаю это корректным. К тому же, как известно, «дьявол в деталях»: ведь это только мне кажется, что я понял 90% методики – а вдруг меньше? Публикация методики позволит познакомиться с ней максимально широкому кругу игроков, что не только даст людям, дающим согласие сотрудничать с НТУ, понимать, на что они подписываются, но и расширит потенциальное число людей, которых можно привлекать к оценке.
2. Предлагаю в отдельной ветке разбирать оценку конкретных игровых ситуаций, которые встречаются на площадке. Это даст возможность придти к максимально единообразному толкованию оценок всеми заинтересованными сторонами.
3. Я бы очень просил НТУ рассказать их взгляд на то, что с этими оценками надо делать дальше. Я-то для себя построил математическую модель, на основе которой мы получили предварительно распределение ролей в команде (кстати, если кому интересно – могу поделиться). Но это локальная задача, ошибка в которой менее страшна, чем при решении задач отбора.
В целом мне кажется, что предлагаемая система оценки окажется полезной каждому игроку, поскольку дает возможность получить объективно-отстраненный взгляд на себя (в конце концов, никто не мешает оценивать только собственные действия). Что касается использования ее для других целей, то для рассуждения на эту тему хотелось бы больше подробностей...
Нет невыполнимой работы для человека, который не будет делать ее сам