Оценка ответов ИИ: как проверить судейскую надёжность

При работе с ИИ легко принять высокий процент совпадений за добрую точность. Но один и тот же судья может часто соглашаться сам с собой и всё же ошибаться в ту же сторону. Посему до внедрения оценочной схемы надлежит проверить не только согласие, но и силу суждения.

Суть метода в том, чтобы смотреть не на сырое совпадение ответов, а на согласие с поправкой на случайность. Для этого полезно сравнить raw agreement и kappa: первая цифра показывает, как часто судья совпадает с образцом, а вторая — насколько это согласие действительно лучше случайного. Разница между ними и есть тот изъян, который легко скрывает красивая ведомость.

Такой разбор особенно полезен, коли один ИИ судит тексты, ответы, A/B-варианты или результаты автоматической проверки. Тогда надлежит проверить, не завышает ли метрика качество там, где на деле имеется лишь устойчивый уклон.

Что даёт такой разбор:
✔️ показывает, не обманывает ли высокий процент согласия;
✔️ помогает увидеть слабое место в судейской метрике;
✔️ позволяет сравнивать модели по честной шкале, а не по сырому совпадению;
✔️ выявляет случаи, где судья стабилен, но не точен;
✔️ даёт основу для более надёжной оценки A/B и регрессионных тестов.

Ниже — готовый промпт. Его можно скопировать, вставить в ИИ и подставить описание своего проекта.

Роль: ты специалист по оценке качества ответов ИИ и бизнес-результатов.
Задача: проанализируй схему оценки [описание проекта] и найди, не завышает ли она качество из-за сырого совпадения ответов.
Вводные данные:
1. Что именно оценивается: [тексты, диалоги, ответы, A/B-варианты, классификация, иное].
2. Как устроен процесс оценки: [одиночная проверка, парное сравнение, несколько судей, человеческая разметка].
3. Какие метрики уже используются: [raw agreement, точность, доля совпадений, kappa, иное].
4. Какой набор данных есть: [объём, типы примеров, классы, распределение оценок].
5. Какие известны проблемы: [смещение, различие судей, нестабильность, ошибки, нет данных].
Действия:
1. Кратко объясни, где raw agreement может вводить в заблуждение.
2. Покажи, чем он отличается от chance-corrected agreement / kappa.
3. Укажи, какие признаки говорят о завышении качества.
4. Отметь, где возможен position bias, label bias или перекос распределения.
5. Если данных недостаточно, перечисли, что нужно собрать для честной проверки.
6. Предложи, как улучшить схему оценки: сравнение с человеческой разметкой, перестановка порядка вариантов, повторная проверка, отдельный regression set из production trace.
Формат результата:
- Краткий вывод в 2–3 предложениях.
- Таблица с колонками: Проблема / Почему искажает оценку / Что проверить.
- Список из 3–7 конкретных рекомендаций.
- Отдельный блок: какие метрики стоит использовать вместо одного процента совпадений.
Ограничения:
- Не выдумывай числа и результаты.
- Не используй общие слова без объяснения.
- Не смешивай метрики без различия между сырым согласием и согласия с поправкой на случайность.
- Если данных мало, прямо скажи об ограничениях.
- Пиши кратко, по делу, без рекламного тона.