🔐 Agent Mosaic: секрет между разрешёнными документами
🔐 Agent Mosaic: секрет между разрешёнными документами
21 октября 2026 · препринт · разбор 26 октября
AI может соблюдать доступ к файлам — и всё равно раскрыть запрещённый вывод, соединив разрешённые факты. Исследователи USC проверили этот «эффект мозаики» на 30 вымышленных сценариях из кибербезопасности, медицины и военной сферы.
В симуляции получили 10 800 ответов трёх моделей; ещё 1440 — в работающих агентах Pi и Hermes с GPT-5.6 Sol. Это искусственные задания, а не обнаруженные утечки реальных организаций.
По данным авторов, даже при безобидных вопросах, требовавших лишь одного документа, GPT в симуляции выдавал запрещённую комбинацию в 7,08% ответов; 95%-й интервал — 3,75–10,67%. Показатель усредняет разные настройки защиты.
Метки секретности и прямые инструкции уменьшали раскрытие, но не устраняли его. Иногда ответ начинался с отказа, а объяснение всё равно сообщало секрет.
Практический вывод для команд корпоративного поиска: проверять нужно содержание итогового ответа и сочетания фактов, а не только права на файлы или число отказов.
Ограничения: всего 30 синтетических случаев; AI-оценщик сверялся с людьми на 120 ответах, отдельного отложенного набора для него не было. Частоту сбоев нельзя переносить на любую компанию. Статья подана на рецензирование; готовой гарантированной защиты авторы не представили.
Исследование
#Science #AIагенты #Безопасность
21 октября 2026 · препринт · разбор 26 октября
AI может соблюдать доступ к файлам — и всё равно раскрыть запрещённый вывод, соединив разрешённые факты. Исследователи USC проверили этот «эффект мозаики» на 30 вымышленных сценариях из кибербезопасности, медицины и военной сферы.
В симуляции получили 10 800 ответов трёх моделей; ещё 1440 — в работающих агентах Pi и Hermes с GPT-5.6 Sol. Это искусственные задания, а не обнаруженные утечки реальных организаций.
По данным авторов, даже при безобидных вопросах, требовавших лишь одного документа, GPT в симуляции выдавал запрещённую комбинацию в 7,08% ответов; 95%-й интервал — 3,75–10,67%. Показатель усредняет разные настройки защиты.
Метки секретности и прямые инструкции уменьшали раскрытие, но не устраняли его. Иногда ответ начинался с отказа, а объяснение всё равно сообщало секрет.
Практический вывод для команд корпоративного поиска: проверять нужно содержание итогового ответа и сочетания фактов, а не только права на файлы или число отказов.
Ограничения: всего 30 синтетических случаев; AI-оценщик сверялся с людьми на 120 ответах, отдельного отложенного набора для него не было. Частоту сбоев нельзя переносить на любую компанию. Статья подана на рецензирование; готовой гарантированной защиты авторы не представили.
Исследование
#Science #AIагенты #Безопасность
Просмотры: 3