ИИ сказал «готово». А что изменилось на самом деле?

Мне стало интересно, насколько легко принять уверенный ответ агента за выполненную работу.

3 октября Microsoft и Hugging Face рассказали о ThinkingBox. Это среда, в которой проверяют, что осталось после действий ИИ: какие записи изменились, появился ли нужный результат и не случилось ли лишнего.

В публикации есть показательный тестовый сценарий. У клиента задержалась доставка. Агент посмотрел заказ, проверил информацию и создал обращение. А затем закрыл его как решённое, хотя проблема с доставкой оставалась открытой. По условиям задания обращение должно было остаться в ожидании решения.

Это искусственный пример из теста. Но сама ошибка вполне понятна: агент выполнил несколько действий и неверно определил, когда работа закончена.

Меня здесь зацепило, что проверять нужно именно нужный результат. Запись в системе появилась? Хорошо. Но правильная ли это запись, с нужным ли статусом, соответствует ли она задаче?

Для «Завода блогеров» я бы объяснил это на публикации. Сообщение «пост отправлен» полезно, но мне нужен сам пост на нужной площадке. Это уже понятный результат, который можно увидеть.

В ThinkingBox-Bench авторы проверяли 507 сценариев, повторяя каждый по 20 раз для разных моделей. Это позволяет отдельно увидеть, может ли агент справиться хотя бы однажды и насколько стабильно он справляется. Результаты относятся к этим тестовым задачам, а не ко всей работе ИИ.

Я бы не делал из таких ошибок вывод, что агент специально врёт. Причиной может быть неверно понятая задача, ошибка при работе с инструментом или неправильный критерий завершения.

Мне интереснее другое: заранее договориться, что считаем готовой работой. Чтобы это было понятно и человеку, и агенту.

Какую задачу вы бы поручили ИИ, если бы могли сразу увидеть и проверить её результат?