Обещание выполнилось: покрытие 0,913, человеку уходит 4% интервью. А среди кандидатов, которых система продвинула сама, 15% оказались не сеньорами.
Покрытие набирают уверенные отказы, а ложные продвижения копятся рядом. Простой порог 0,9 по вероятности модели ни разу не нарушил гарантию и ошибался вдвое реже, правда, отдавал человеку каждое пятое интервью.
Таблицы по пяти сдвигам: https://iconicompany.com/ru/research/conformal-escalation-coverage-does-not-protect-promotions