На днях проверял нашего ИИ-консультанта на живом магазине. Это сайт…

На днях проверял нашего ИИ-консультанта на живом магазине. Это сайт, который мы делали для клиента, в карте сайта 1 736 адресов. Демо прочитало 300 страниц за 2 минуты 43 секунды. Я задал боту семь вопросов, какие задал бы покупатель. Адрес, часы и график на праздники он назвал верно. Пока всё хорошо.

А дальше пошли косяки. Спрашиваю: «А на 1000 руб заказать можно?». Бот отвечает, что в прайсе много позиций дешевле 1 000 ₽, так что заказ вполне реален. На странице «О нас» при этом прямо написано: «Заказы до 10 тыс. рублей не принимаются». Мимо ушли ещё доставка по России и вопрос, есть ли на сайте страница «О нас». Сама страница прочитана. Первая мысль у меня была невесёлая: так мы будем чинить бота под каждый сайт.

Я разобрался, и оказалось, что так ломается любой магазин с каталогом. Бот не держит сайт в голове. Он режет страницы на фрагменты и на каждый вопрос ищет подходящие. Ищет по смыслу. Сотни карточек с ценами в рублях похожи на вопрос про заказ сильнее, чем одна фраза на «О нас». Нужный фрагмент оказался на 200-400-м месте из 833. До бота он просто не дошёл.

По ходу я нашёл ещё две проблемы, уже наши. 304 фрагмента из 833 были мусором: обработчики Alpine.js вида @click="… => …" ломали разбор HTML, и код с классами оформления уходил в текст. Больше трети базы - мусор. А демо брало страницы «сначала короткие адреса», и 172 карточки ушли на один раздел. Из нескольких крупных разделов не попало ни одной страницы.

Потом я посмотрел на сайты, где бот отвечает хорошо. У них заполнены два поля в кабинете: «О компании» и «Правила компании». Бот держит их в каждом разговоре, без поиска. У демо и у только что подключённого сайта они пустые. Вся надежда на поиск, а он на каталоге промахивается.

Что я поменял в движке, сразу для всех сайтов:
• рядом с поиском по смыслу теперь поиск по словам вопроса, до трёх фрагментов. Число из вопроса весит меньше слова: «1000» - сумма покупателя, а на сайте таких чисел сотня в ценах;
• после первого чтения модель сама выписывает условия с главной, «О нас», доставки, оплаты и контактов. Только в пустые поля, кабинет просит проверить. Цены в правила не идут. Они меняются;
• атрибуты Alpine, Vue и Livewire снимаются до разбора;
• демо читает разделы по очереди, а не подряд из одного.

Замер я гонял на пяти сайтах, по три прогона. Было 54 верных ответа из 69, стало 64. Разница заметная. Один поиск по словам дал всего плюс один ответ, но именно он починил минимальный заказ и доставку. Остальное дали условия в полях. На том магазине медиана времени ответа упала с 11,3 до 5,4 секунды.

Часть проблем бот не исправит. Это дело сайта: страницы разделов без текста, битые адреса в карте сайта, один <title> на все карточки. Если у вас магазин, я бы проверил так:
• условия написаны текстом и словами покупателя, на отдельной странице, а не на баннере;
• в sitemap.xml нет 404 и одинаковых заголовков;
• боту заданы 5-7 базовых вопросов до запуска;
• главное вписано в настройки бота руками, если у сервиса есть такое поле.

Для меня вывод простой. Бот знает о магазине ровно то, что нашёл. Условия, о которых спрашивают чаще всего, лучше дать ему напрямую.

Полный разбор и что проверить на своём сайте:
https://blog.siteko.net/articles/chat-bot-ne-nahodit-otvet-na-sajte