93,5% против 40,9% на одних и тех же парах, в каждой человеческая…

93,5% против 40,9% на одних и тех же парах, в каждой человеческая идея и сгенерированная. Меняется только промпт. С подсказкой, что новизна есть ровно у одной идеи пары, модель ошибается редко. На простом «какая идея новая?» точность проваливается ниже случайного выбора.

Ai2 собрала бенчмарк на 299 идеях из рецензий ICLR 2026. Специализированные проверялки новизны проиграли обычному промпту на Opus 4.6: 0,854 macro-F1 против 0,642 и 0,772. Самоотчёт Ai2, метки «сгенерированное» — допущение.