Harness² от Google Research: агент правит свою обвязку без эталонных ответов

Harness² (arXiv:2610.14224) не трогает веса модели и правит восемь компонентов harness вокруг нее, от системного промпта и guardrails до skills и плагинов.

Шаг Propose–Probe–Compose предлагает правки, прогоняет кандидатов на той же задаче и собирает итоговый harness из различий в поведении запусков. Эталонные ответы не нужны. Принятые правки и выводы копятся в постоянном harness улучшений для следующих задач. По статье один шаг дает GLM-5 и Gemini 3.5 Flash до +11,5 пункта на WorkBuddy-Bench, +4,5 на JobBench и +11,8 п.п. частичного прохождения на LAB.

➡️Что придумали. Два приема.
• Сравнивать варианты между собой, а не с эталоном (Propose–Probe–Compose). Агент предлагает несколько правок своей обвязки и запускает каждый вариант на той же задаче. Потом смотрит, чем поведение отличалось: где один вариант проверил данные, а другой нет, где один застрял, а другой дошел до конца. Из удачных отличий он собирает итоговую обвязку. По сути это A/B-тест, где судья оценивает разницу в поведении, а не правильность ответа.
• Запоминать уроки между задачами. После каждой задачи удачная обвязка и выводы, подтвержденные этими сравнениями, сохраняются в отдельную «память об улучшениях». На следующей, уже другой задаче агент правит себя быстрее и точнее. Так улучшения не пропадают после одной задачи, а накапливаются.

Насколько это помогает. Один такой цикл добавляет GLM-5 и Gemini 3.5 Flash до 4,5–12 пунктов на трех бенчмарках с профессиональными задачами: офисная работа, юридические задачи, задачи по вакансиям. Если циклов больше, прирост растет.