Human-in-the-loop

Компании очень любят выражение human-in-the-loop — «человек в контуре». Звучит гуманно, почти как «семья в центре корпоративной культуры». На деле человек в контуре — это сотрудник, которому алгоритм передаёт самое неприятное решение за 40 секунд до дедлайна.
ИИ уже проанализировал документы, оценил риск, сформировал ответ, посчитал вероятность отказа и написал письмо клиенту. Потом на экране появляется кнопка: «Подтвердить решение». Нажмёт её человек. Потому что организация хочет использовать скорость машины, но юридическую ответственность оставить там, где она всегда была: у того, кто не успел отказаться.
Сотруднику говорят: «Ты не должен всё проверять, просто контролируй». Отличный совет. Особенно когда у тебя 180 заявок, 12 вкладок, три противоречивых регламента и агент, который объясняет свою логику фразой: «Вывод сформирован на основании релевантного контекста».
Какого контекста? Того, где договор лежал в отсканированном PDF под названием «Новый документ (17) финал последний точно.pdf»? Или того, где клиент написал «срочно» в 2019 году, а система решила, что это его устойчивый поведенческий паттерн?
Человек в контуре превращается в корпоративный предохранитель. Пока всё работает — его называют тормозом цифровизации. Когда агент ошибается — его спрашивают, почему он не заметил. А если он нажал «отклонить», потому что увидел риск, на следующий созвон приходит руководитель и уточняет, не саботирует ли он автоматизацию.
Human-in-the-loop — это когда искусственный интеллект принимает решение, а натуральный человек подписывает последствия.