Тормоза нужны, чтобы ехать быстрее!
В Нью-Йорке на этой неделе прошла конференция AI Engineer. Одна из главных тем: как дать ИИ-агенту свободу и при этом не потерять контроль. Говорили OpenAI, Anthropic, Bloomberg и хедж-фонд Two Sigma. Все на примере финансов, где ошибка агента стоит живых денег.
Какие выводы я для себя сделал.
Во-первых, в OpenAI уверены, что уже в 2027 году агенты начнут сами искать инвестиционные идеи и торговать. А Excel и PowerPoint финансистам станут нужны реже. Это прогноз Джозефа Кима, он отвечает за ChatGPT для финансового сектора. Смело, проверим через год)))
Во-вторых, Anthropic строит для агентов «слой доверия» из трех частей. От чьего имени действует агент и какие у него права. Кто подписывает действие, прежде чем агент его выполнит. И как убедиться, что агент не сломается, когда поменяются данные или условия. Пример у них простой: агент разбирает сбой в сделке и предлагает исправить заказ. Само исправление вносит человек.
В-третьих, Bloomberg рассказал реальный случай. Агент прочитал отзыв на маркетплейсе, принял текст отзыва за команду и заказал товар на склад. Поэтому защиту там ставят снаружи модели: проверять каждый вызов, писать журнал и держать под рукой рубильник.
Но самое интересное, по-моему, сказали в Two Sigma. Они называют проблему «усталость от одобрений». Когда человек подтверждает каждое действие агента, он перестает вчитываться. Работа тормозит, а риск растет. Поэтому рутину у них разбирает классификатор, а человеку достается только то, что действительно важно.
Я, честно говоря, пришел к тому же, только в масштабе своей компании. Агент сам готовит письма учебным центрам, но уходят они только после моего «да» на партию. Удалить, заплатить или опубликовать без меня он не может. А всю рутину делает сам.
Хорошо это сформулировал Джон Феминелла из Two Sigma: «Зачем машине тормоза? Чтобы можно было ехать быстро и безопасно остановиться».
Похоже, следующий год решит, кому мы доверим кнопку «выполнить».
Источник: Latent Space, 1
4.10.2026
https://www.latent.space/p/crossing-the-threshold