👏 OpenAI представила Lockdown Mode, защищающий от последствий промпт-инжектов

Lockdown Mode — функция призвана снизить риск утечки информации через промпт-инжекты, то есть атаки, при которых злоумышленники внедряют в документы, веб-страницы или другой контент скрытые инструкции для ИИ

Lockdown Mode призван усложнить последний этап таких атак — вывод данных за пределы системы

Промпт-инжекты вполне заслуженно считаются одной из главных проблем современных ИИ-систем
Скрытые инструкции могут вынуждать ИИ-агентов раскрывать конфиденциальную информацию или выполнять нежелательные действия
В OpenAI отмечают, что полностью решить эту проблему пока не удается, поэтому в компании продолжают внедрять многоуровневую защиту на уровне моделей, продуктов и инфраструктуры.

🧑‍💻 Этичный хакер