👀 StreamVibe: видеоагент учитывает изменение задачи

👀 StreamVibe: видеоагент учитывает изменение задачи
26 октября 2026 · препринт
Исследователи из Google, UC Santa Barbara и других университетов предложили систему, которая решает, когда вмешаться с подсказкой, наблюдая за видеопотоком. Пользователь может изменить цель прямо в процессе: например, сначала просить помощь при затруднении, затем — предупреждение перед следующим шагом.
StreamVibe-VL выбирает момент и содержание ответа. Отдельная среда StreamVibe-Harness хранит действующие просьбы, прогресс и прошлые реплики, обновляет цели и извлекает нужную историю. По данным авторов, память сокращает устаревшие и повторные подсказки.
Для проверки собрали 4100 примеров на 183,4 часа видео с 20 546 точками полезной помощи. Есть бытовые задачи и работа с интерфейсами; отдельно оцениваются момент ответа и его содержание. Кандидатную разметку Gemini проверяли четыре человека.
На записанных видео агент видит только прошлое; это не испытание готового помощника в работе с реальными пользователями. Ложные вмешательства и сложные неявные цели остаются проблемой.
На момент проверки 28 октября код и модель на странице помечены «скоро»; выпуск ожидает внутреннего согласования. Общедоступная установка, лицензия и минимальные требования пока не подтверждены.
Иллюстрация: авторы StreamVibe.
Проект · Исследование
#НаукаAI #ВидеоAI #AIАгенты