Детекторы токсичности и галлюцинаций для ИИ-агентов разработали ВТБ…

Детекторы токсичности и галлюцинаций для ИИ-агентов разработали ВТБ вместе с МГУ — первый детектор будет отсекать запросы с запрещённым контентом, второй проверять ответы нейросети на ошибки, выдуманные факты и противоречия. 

Если один из детекторов найдёт проблему, ответ можно будет отправить на повторную проверку или заблокировать. Для ИИ в финансовых сервисах это особенно важно, чтобы нейросеть не рекомендовала клиенту то, чего на самом деле не существует. 

Банк планирует внедрить разработку в розничные сервисы с цифровыми помощниками.

Теперь надо придумать детектор токсичности для коллег. 

@exploitex