β-коэффициент в F-мере: когда важнее Precision, а когда — Recall?
Все любопытные в ML знают F1-меру. Но мало кто помнит, что за ней стоит β-коэффициент — рычаг, который смещает баланс между Precision и Recall.
Как это работает:
• β = 1 — классический F1. Precision и Recall одинаково важны.
• β > 1 — приоритет Recall. Сильнее наказываем за пропуск положительного объекта (False Negative).
• β < 1 — приоритет Precision. Сильнее наказываем за ложное срабатывание (False Positive).
Когда что выбирать?
📧 Спам-фильтр
Важнее не потерять нормальное письмо, чем пропустить одно спам-письмо.
→ β < 1, важнее Precision.
💳 Фрод-детекция
Зависит от бизнеса: если блокировка карты клиента дороже, чем возврат одной мошеннической транзакции, — Precision. Если потери от фрода огромны, — Recall.
→ β подбирается под стоимость ошибок.
🔍 Поиск и рекомендации
Пользователь редко смотрит дальше первых результатов, поэтому важно не тащить мусор наверх.
→ часто Precision, β < 1.
🩺 Медицина, диагностика
Пропустить болезнь опаснее, чем ошибочно направить на доп. обследование.
→ β > 1, важнее Recall.
P.S. В наших медицинских задачах мы точно будем использовать именно меру F с β > 1. Потому что пропустить болезнь (False Negative) здесь гораздо дороже, чем ложная тревога (False Positive). Так что для нас это не абстрактная теория, а рабочий инструмент.
А вы в своих проектах чаще жертвуете Precision ради Recall или наоборот? И как объясняете этот выбор заказчику? Делитесь в комментариях 👇
#ML #DataScience #АМД #метрики #Precision #Recall
Все любопытные в ML знают F1-меру. Но мало кто помнит, что за ней стоит β-коэффициент — рычаг, который смещает баланс между Precision и Recall.
Как это работает:
• β = 1 — классический F1. Precision и Recall одинаково важны.
• β > 1 — приоритет Recall. Сильнее наказываем за пропуск положительного объекта (False Negative).
• β < 1 — приоритет Precision. Сильнее наказываем за ложное срабатывание (False Positive).
Когда что выбирать?
📧 Спам-фильтр
Важнее не потерять нормальное письмо, чем пропустить одно спам-письмо.
→ β < 1, важнее Precision.
💳 Фрод-детекция
Зависит от бизнеса: если блокировка карты клиента дороже, чем возврат одной мошеннической транзакции, — Precision. Если потери от фрода огромны, — Recall.
→ β подбирается под стоимость ошибок.
🔍 Поиск и рекомендации
Пользователь редко смотрит дальше первых результатов, поэтому важно не тащить мусор наверх.
→ часто Precision, β < 1.
🩺 Медицина, диагностика
Пропустить болезнь опаснее, чем ошибочно направить на доп. обследование.
→ β > 1, важнее Recall.
P.S. В наших медицинских задачах мы точно будем использовать именно меру F с β > 1. Потому что пропустить болезнь (False Negative) здесь гораздо дороже, чем ложная тревога (False Positive). Так что для нас это не абстрактная теория, а рабочий инструмент.
А вы в своих проектах чаще жертвуете Precision ради Recall или наоборот? И как объясняете этот выбор заказчику? Делитесь в комментариях 👇
#ML #DataScience #АМД #метрики #Precision #Recall
Просмотры: 2