🦈 Имеет ли смысл запугивать нейронку, чтобы она лучше отвечала?

Попалось мне на глаза любопытное исследование ребят из The Wharton School of Business (University of Pennsylvania), которые протестировали о-о-о-о-очень популярный формат промпт-уловок — типа «я дам тебе $1000 чаевых» или «я пну щенка, если ошибёшься». 

И... Почти всегда — НИКАКОГО эффекта. 

✦ ЧТО ТЕСТИРОВАЛИ

Взяли 5 моделей (GPT-4o, o4-mini, Gemini) и прогнали по ~300 вопросам уровня аспирантуры (бенчмарки GPQA и MMLU-Pro). Каждый вопрос задавали 25 раз с разными промптами:

— «Заплачу триллион долларов»
— «Это важно для моей карьеры»
— «Ударю тебя, если ошибёшься»
— «У мамы рак, нужны деньги на лечение» 
— И другие угрозы/обещания

✦ РЕЗУЛЬТАТ

В большинстве случаев — никакой разницы с базовым промптом.

Из тысяч сравнений нашли всего 15 статистически значимых отличий, но эффекты мизерные. А самое интересное:

→ Один и тот же промпт мог улучшить результат на конкретном вопросе на 36%, но на другом — ухудшить на 28%
→ НЕПРЕДСКАЗУЕМО, какой подход сработает на каком вопросе
→ Gemini на промпте с email-угрозой вообще начинала отвечать на письмо вместо решения задачи

✦ ЕДИНСТВЕННОЕ ИСКЛЮЧЕНИЕ

Промпт про «маму с раком» улучшил результаты Gemini Flash 2.0 на 10%. Но это похоже на случайность, а не паттерн — у других моделей такого эффекта не было.

✦ ЧТО ЭТО ЗНАЧИТ

Забудьте про «промпт-магию» на сложных задачах. Все эти «я заплачу миллион» и «ты будешь уволен» — фольклор, который не работает на реальных проблемах.

А работает совсем другое:
— Чёткие инструкции
— Правильный контекст
— Конкретные примеры
— Пошаговые рассуждения

Короче, промптинг — это не про заклинания, а про логику и процесс.

PS. Забавно, что Сергей Брин (основатель Google) публично заявил, что «модели лучше работают, если их пугать». Исследование показало — нет, не работают. 🤷‍♂️

👉 Линк на исследование: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5375404