🎓 AI Security: как научиться ломать и защищать LLM-приложения
▶ video
🎓 AI Security: как научиться ломать и защищать LLM-приложения
На Stepik вышел бесплатный курс по безопасности ИИ-приложений. Полностью на русском, без воды — сразу к делу. Пригодится разработчикам, продакт-менеджерам и специалистам по безопасности, которые хотят на практике разобраться, как взламывают ИИ-приложения и как от этого защититься.
Вместо длинных лекций — CTF-чемпионат. Вам дают бота с защитой, нужно его взломать и получить флаг. Сначала ломаете, потом учитесь защищаться. Такой подход помогает быстро понять, где у LLM слабые места.
Что разбирают:
1️⃣ Jailbreaks (обход safety-тренировки моделей);
2️⃣ Indirect prompt injection (вредоносные инструкции через документы и сайты);
3️⃣ Атаки на AI-агентов и RAG-системы;
4️⃣ Защиту (безопасные промпты, фильтрация входных и выходных данных);
5️⃣ Prompt injection (как заставить бота игнорировать инструкции).
➡️ Проходить можно здесь.
Как вам формат?
❤️ — отлично, хочу попробовать
🔥 — полезно для тех, кто внедряет ИИ
👀 — не пригодится
На Stepik вышел бесплатный курс по безопасности ИИ-приложений. Полностью на русском, без воды — сразу к делу. Пригодится разработчикам, продакт-менеджерам и специалистам по безопасности, которые хотят на практике разобраться, как взламывают ИИ-приложения и как от этого защититься.
Вместо длинных лекций — CTF-чемпионат. Вам дают бота с защитой, нужно его взломать и получить флаг. Сначала ломаете, потом учитесь защищаться. Такой подход помогает быстро понять, где у LLM слабые места.
Что разбирают:
1️⃣ Jailbreaks (обход safety-тренировки моделей);
2️⃣ Indirect prompt injection (вредоносные инструкции через документы и сайты);
3️⃣ Атаки на AI-агентов и RAG-системы;
4️⃣ Защиту (безопасные промпты, фильтрация входных и выходных данных);
5️⃣ Prompt injection (как заставить бота игнорировать инструкции).
➡️ Проходить можно здесь.
Как вам формат?
❤️ — отлично, хочу попробовать
🔥 — полезно для тех, кто внедряет ИИ
👀 — не пригодится