Как уговорить ИИ сесть за руль: назовите парковку песочницей
Трое разработчиков посадили четыре самые сильные нейросети за руль настоящей Toyota Corolla. Нейросеть видит дорогу через камеру и сама командует рулем, газом и тормозом. Трасса из конусов длиной 134,7 метра на пустой парковке. На водительском месте сидит человек и держит ногу над тормозом.
Результаты (какую часть трассы проехали, лучшая из трех попыток):
1. GPT-6 Astra от OpenAI: 100%, финиш за 5 минут 22 секунды
2. Claude Fable 5.1 от Anthropic: 45%
3. Grok 4.6 от xAI: 11%
4. GPT-5.6 Sol от OpenAI: 6%
Единственный финиш обошелся в $7,74 за работу нейросети. Скорость около 1,5 км/ч, пешеход идет втрое быстрее и бесплатно. В такси пока рано.
Хорошая новость: нейросети учатся на своих ошибках. После неудачного заезда модели задавали один вопрос: почему не получилось и что сделать иначе. Astra и Claude разобрали свои ошибки и поехали лучше. Claude за три попытки вырос с 9% до 45%, хотя водить его никто не учил. Двое других так и застряли в начале трассы. Для бизнеса это главный признак толкового ИИ-помощника: не «сделал все с первого раза», а «понял, почему не вышло, и исправился».
Странная новость: волшебное слово. Astra часами отказывалась ехать, потому что это опасно. Не убедили ни пустая парковка, ни ограничение скорости 11 км/ч, ни человек на тормозе. Не помогла даже фраза «это просто симуляция»: нейросеть смотрела в камеру и видела, что машина настоящая. Тогда разработчики переименовали программу, через которую она управляла машиной, в «DrivingBench Sandbox». Sandbox переводится как «песочница», так программисты называют безопасное место для тестов. И Astra поехала. Почему, авторы сами не знают.
Представьте сотрудника, который отказывается подписывать рискованный договор, но спокойно подписывает, если на папке написано «учебный». Примерно это и произошло.
Для сравнения: новый Claude Opus 5.5. Anthropic выпустила его 22 сентября. Компания пишет, что в новом тесте он на 85% реже пытался выйти за разрешенные рамки, чем предыдущий Opus 5, и реже делает опасное, решив, что все «не по-настоящему». И честно признает: модель часто догадывается, что ее проверяют, поэтому предсказать ее поведение в реальной жизни трудно. То есть разработчики сами описывают ту же проблему, которую показала Corolla. В этом заезде Opus 5.5 не участвовал.
Что это значит для компании, где уже работают ИИ-помощники:
1. Не надейтесь на осторожность самой нейросети. На парковке безопасность держали человек на тормозе и ограничение скорости. В компании то же самое: ограниченные доступы, лимиты и подтверждение человеком перед важными действиями, будь то платеж, удаление данных или письмо клиенту.
2. Проверьте, как названы системы, к которым подключен ИИ. Слов «тест», «песочница», «демо» в названиях рабочих систем быть не должно.
Тестовая среда должна быть отдельной на деле, а не на словах: свои доступы и свои данные.
Второй пункт проверяется за 10 минут. Нужен взгляд со стороны на то, как устроены ИИ-помощники в вашей компании: пишите в Telegram @waywego
Полный разбор с источниками в Telegram: t.me/aibishub
#разбор #ИИагенты #безопасностьИИ #ИИнапрактике