Признаки отравления данных в промышленном ИИ: сдвиг распределения датчиков и падение точности

Экономика и решения

Automation.com описывает, как в промышленном ИИ для предиктивного обслуживания и оптимизации распознавать умышленное искажение обучающих и операционных данных, ведущее к ошибочным прогнозам или небезопасным решениям.

• Атака может быть широкой, когда точность падает во многих режимах, либо точечной: искажение проявляется лишь при определённых условиях, а в остальных модель работает штатно.

• Один из признаков — сдвиг распределения показаний датчиков: значения остаются в допустимых пределах, но заметно расходятся с исторической картиной; настораживает и нарушение привычных связей между давлением, температурой и состоянием оборудования.

• Ещё один признак — резкое падение точности или рост ложных срабатываний; при точечной атаке ухудшение заметно только по отдельным машинам или комбинациям входов, поэтому метрики сверяют с проверенной базой и прошлыми версиями модели.

Технические детали
Защита охватывает весь жизненный цикл данных: проверку происхождения, ограничение прав записи для датчиков, историков и систем разметки, отсев выбросов и нарушений физических ограничений, сверку аномалий модели с журналами доступа и участие инженеров процесса при разборе.

Источники: automation.com