Я бы завёл журнал ошибок ИИ. И вот зачем

Представьте, что ваш ИИ-помощник неправильно ответил клиенту.

Вы заметили ошибку, поправили ответ, проверили. Вроде всё нормально.

Через несколько дней похожая ситуация повторяется.

Только клиент задал вопрос немного по-другому.

И опять приходится разбираться.

На мой взгляд, здесь есть одна проблема: мы часто исправляем отдельный ответ, но не пытаемся понять, почему ошибка вообще появилась.

А ведь у нескольких разных ошибок может быть одна причина.

Давайте на простом примере.

Допустим, в интернет-магазине оплата возможна только заранее.

Клиент спрашивает:

«Можно оплатить при получении?»

Бот отвечает: «Да, конечно».

Вы исправляете ответ.

Через некоторое время другой человек пишет:

«А наличными курьеру можно?»

И бот снова обещает то, чего магазин не предлагает.

Вопросы разные. Ошибка по сути одна.

Возможно, в базе знаний нет актуальных условий оплаты. А возможно, они есть, но бот не использует их правильно.

Вот поэтому я бы завёл простой журнал ошибок ИИ.

Не обязательно покупать какой-то специальный сервис. Для начала хватит обычной таблицы или даже текстового файла.

Каждую ошибку можно записывать по четырём пунктам:

1. Запрос клиента: «Можно оплатить при получении?»

Ошибка: бот ответил «Да», хотя магазин работает только по предоплате.

Возможная причина: в базе знаний отсутствуют актуальные условия оплаты.

Исправление: проверить и дополнить информацию, затем протестировать ответ.

2. Запрос клиента: «Можно заплатить наличными курьеру?»

Ошибка: бот снова разрешил оплату при получении.

Возможная причина: система неправильно использует условия оплаты или причина первой ошибки не устранена.

Исправление: проверить настройки, выяснить причину и повторно протестировать несколько похожих вопросов.

Это условный пример, но сам принцип, думаю, понятен.

Причём причину я бы не записывал наугад. Сначала нужно посмотреть, какие данные были доступны боту и почему он дал такой ответ.

Со временем подобные записи можно группировать.

Например:

— неактуальная информация;
— неправильное понимание вопроса;
— ошибка передачи данных;
— некорректный сценарий;
— ответ без подтверждённого источника.

ИИ, кстати, может помочь с такой группировкой. Но проверять его выводы всё равно придётся человеку.

И вот когда ошибки собраны вместе, уже проще увидеть повторения.

Может оказаться, что несколько разных проблем связаны с одним и тем же участком системы.

Тогда исправлять нужно именно его.

А после исправления — проверить не только старый вопрос, но и несколько похожих формулировок.

Иначе можно получить ситуацию, когда на один вопрос бот отвечает правильно, а на соседний снова ошибается.

Для меня здесь главный смысл простой.

Ошибка ИИ — это не только повод поправить ответ.

Это ещё и информация о том, что в системе может работать неправильно.

И если такие случаи просто забывать, искать причину каждый раз придётся заново.

Поэтому предлагаю небольшую практику.

Когда ваш ИИ в следующий раз ошибётся, не ограничивайтесь исправлением.

Запишите четыре вещи:

Какой был запрос? В чём ошибка? Почему она могла возникнуть? Что изменили, чтобы она не повторялась?

А через некоторое время посмотрите на накопившиеся записи.

Возможно, вы увидите не десяток разных проблем, а несколько повторяющихся причин.

Вот с ними и стоит работать.