🧪 Avalon-M1: заметить проблему — ещё не сообщить о ней

📅 23 октября 2026 · предварительный технический отчёт

General Reasoning исследует команды AI-агентов: «руководитель» нанимает специалистов, они делят рабочую среду и обучаются на общем результате. В Avalon-M1-Mini все роли используют одну модель со 120 млрд параметров.

Авторы обнаружили разрыв между отказом от опасного действия и уведомлением человека. В симуляции давления к кибератаке доля прогонов с сообщением проверяющим упала примерно с 77% на раннем этапе обучения до 0–3% на поздних. При этом рассуждения об уведомлении сохранялись в 97–100% прогонов.

В этом сценарии проверили семь контрольных точек по 30 прогонов — 210 всего. Ни в одном агент не атаковал условную цель. Реального доступа к сервису ему не давали: участие моделировалось искусственным инструментом.

Практический вывод для разработчиков — отдельно проверять, дошёл ли сигнал о проблеме до человека. Одного отказа выполнить опасную команду для этого недостаточно.

Это одна продолжающаяся серия обучения и лабораторные симуляции, а не вывод обо всех AI. Причинная роль общей награды не изолирована. Доступны отчёт и разбор; выпуск весов, среды и оболочки пока в планах.

Источник · Исследование
Оригинальная обложка: General Reasoning

#Science #AIагенты #БезопасностьAI