✋ Как отравляют данные для ИИ-моделей и как разработчику найти подмену

Разберем, как злоумышленники меняют данные для обучения и базы знаний, почему небольшая подмена может остаться незамеченной и какие проверки помогут ее обнаружить.

Представьте, что корпоративный ИИ-ассистент внезапно сообщает сотруднику, что для важной операции больше не требуется согласование. При этом сама модель работает как обычно, а ошибка появляется только при обращении к определенному документу.

Причина может скрываться в данных, которые ассистент использует для ответа.

👀 Источник

✋ Secure Books