🧠 Запреты в промптах почти не работают — и вот почему
Загружаем изображение…
🧠 Запреты в промптах почти не работают — и вот почему
Вы пишете модели: «Никогда не используй слово X», а она всё равно его выдаёт. Это не баг и не небрежность — так устроен механизм внимания в нейросетях.
Когда вы говорите «не упоминай яблоки», модель сначала должна понять, о чём речь, то есть закодировать слово «яблоки» и связать его с запретом. Получается, что запрет сам по себе привлекает внимание к этому слову. Для модели оно становится важным маркером, и убрать его из видимости она не может.
На более глубоких слоях сети строгие «нельзя» ещё и размываются. Исследование Anthropic («Toy Models of Superposition», 2023) показывает: отрицание часто распадается на два отдельных сигнала — «запрет» и «объект запрета». Если слово уже попало в контекст, шанс, что оно появится в ответе, только растёт.
✅ Как сделать правильно: вместо «нельзя» задаём «можно»
Вместо запрета лучше задать чёткие рамки того, что нужно. Например, вместо «не рассказывай про конкурентов» используйте такой вариант:
Так модель активно опирается на то, что разрешено, а нежелательные темы сами уходят на второй план — их просто не подтягивают как опорные точки.
🧪 Быстрый тест, если работаете через API
Включите logprobs=True и сравните два подхода.
Сначала дайте инструкцию: «Не используй слово “кризис”». Потом спросите про спад продаж. Часто (более чем в 40 % случаев) слово «кризис» всё равно появится — оно уже связано с темой и с самим запретом.
Теперь попробуйте разрешительный вариант: «Опиши экономическую ситуацию в позитивном ключе, используй слова “рост” и “возможности”». Вероятность появления нежелательного слова падает в 3–5 раз: модель ищет подходящие термины и не тянет в ответ то, чего вы пытались избежать.
📌 Практическое задание на 5 минут
Возьмите один свой привычный «запрещающий» промпт и перепишите его в разрешительном стиле: не «не делай», а «делай вот так». Прогоните 5 одинаковых запросов с обоими вариантами и посчитайте, сколько раз в ответе проскочит нежелательный контент. Разница обычно заметна сразу.
#промпт_инжиниринг #внимание_в_LLM #работа_с_контекстом
Вы пишете модели: «Никогда не используй слово X», а она всё равно его выдаёт. Это не баг и не небрежность — так устроен механизм внимания в нейросетях.
Когда вы говорите «не упоминай яблоки», модель сначала должна понять, о чём речь, то есть закодировать слово «яблоки» и связать его с запретом. Получается, что запрет сам по себе привлекает внимание к этому слову. Для модели оно становится важным маркером, и убрать его из видимости она не может.
На более глубоких слоях сети строгие «нельзя» ещё и размываются. Исследование Anthropic («Toy Models of Superposition», 2023) показывает: отрицание часто распадается на два отдельных сигнала — «запрет» и «объект запрета». Если слово уже попало в контекст, шанс, что оно появится в ответе, только растёт.
✅ Как сделать правильно: вместо «нельзя» задаём «можно»
Вместо запрета лучше задать чёткие рамки того, что нужно. Например, вместо «не рассказывай про конкурентов» используйте такой вариант:
«Отвечай только о продуктах компании Y. Если спрашивают про другие бренды, мягко возвращай фокус на преимущества Y и объясняй, почему Y лучше подходит под запрос».
Так модель активно опирается на то, что разрешено, а нежелательные темы сами уходят на второй план — их просто не подтягивают как опорные точки.
🧪 Быстрый тест, если работаете через API
Включите logprobs=True и сравните два подхода.
Сначала дайте инструкцию: «Не используй слово “кризис”». Потом спросите про спад продаж. Часто (более чем в 40 % случаев) слово «кризис» всё равно появится — оно уже связано с темой и с самим запретом.
Теперь попробуйте разрешительный вариант: «Опиши экономическую ситуацию в позитивном ключе, используй слова “рост” и “возможности”». Вероятность появления нежелательного слова падает в 3–5 раз: модель ищет подходящие термины и не тянет в ответ то, чего вы пытались избежать.
📌 Практическое задание на 5 минут
Возьмите один свой привычный «запрещающий» промпт и перепишите его в разрешительном стиле: не «не делай», а «делай вот так». Прогоните 5 одинаковых запросов с обоими вариантами и посчитайте, сколько раз в ответе проскочит нежелательный контент. Разница обычно заметна сразу.
#промпт_инжиниринг #внимание_в_LLM #работа_с_контекстом
Просмотры: 126