🎓 AI Security: как научиться ломать и защищать LLM-приложения

На Stepik вышел бесплатный курс по безопасности ИИ-приложений. Полностью на русском, без воды — сразу к делу. Пригодится разработчикам, продакт-менеджерам и специалистам по безопасности, которые хотят на практике разобраться, как взламывают ИИ-приложения и как от этого защититься.

Вместо длинных лекций — CTF-чемпионат. Вам дают бота с защитой, нужно его взломать и получить флаг. Сначала ломаете, потом учитесь защищаться. Такой подход помогает быстро понять, где у LLM слабые места.

Что разбирают:

1️⃣ Jailbreaks (обход safety-тренировки моделей);
2️⃣ Indirect prompt injection (вредоносные инструкции через документы и сайты);
3️⃣ Атаки на AI-агентов и RAG-системы;
4️⃣ Защиту (безопасные промпты, фильтрация входных и выходных данных);
5️⃣ Prompt injection (как заставить бота игнорировать инструкции).

➡️ Проходить можно здесь.

Как вам формат?

❤️ — отлично, хочу попробовать
🔥 — полезно для тех, кто внедряет ИИ
👀 — не пригодится