Одна строка в служебном файле может спрятать сайт от поисковых роботов целиком. Из 20 проверок технического аудита это самая дорогая ошибка.
Технический аудит звучит как работа для подрядчика, но основное можно проверить самому. Нужны бесплатный Яндекс Вебмастер, сервис PageSpeed Insights от Google и браузер в режиме инкогнито.
## Что проверять
В статье 20 проверок — тех же, по которым работает наш аудит. Они отвечают на четыре вопроса:
— может ли робот поисковика попасть на сайт;
— видит ли он то же, что человек;
— один ли у сайта адрес;
— нет ли ошибок, которые мешают посетителям.
На одну проверку уходит от 2 до 15 минут, если на сайте 10–50 страниц.
## Где прячется дорогая ошибка
Robots.txt — короткий текстовый файл на сайте. В нём написано, куда роботам поисковиков и нейросетей заходить можно, а куда нельзя. Строка «Disallow: /» для всех роботов закрывает им весь сайт. Вы при этом открываете сайт в браузере как обычно и ничего не замечаете.
Вторая тихая ошибка — запрет для робота YandexAdditional. Сайт остаётся в поиске, но Яндекс не берёт его тексты в быстрые ответы и ответы Алисы.
С роботами нейросетей есть тонкость. Одни ищут ответ для человека прямо сейчас: OAI-SearchBot, PerplexityBot, Claude-SearchBot. Закроете их — пропадёте из ответов ChatGPT, Perplexity и Claude. Другие собирают тексты для обучения: GPTBot, ClaudeBot, Google-Extended. Их закрыть можно, на ответы с поиском это не влияет.
## В каком порядке исправлять
Всё сразу не исправляет никто. Мы идём так:
1. Всё, что закрывает сайт от роботов.
2. Страницы услуг, которых нет в поиске, и копии одной страницы по разным адресам.
3. Адрес сайта и переадресации со старых адресов.
4. Скорость и мобильная версия.
Страницы, которую робот не видит, для поиска не существует. Поэтому скорость — в конце. Ориентир Google: главное на странице появляется быстрее 2,5 секунды. Проверяйте не только главную, но и две-три страницы услуг.
Приятнее всего в этом списке первый пункт: он часто правится одной строкой в robots.txt. Самое важное исправление оказывается и самым дешёвым. С него и стоит начать, даже если до скорости руки дойдут через месяц.
## Что сделать первым делом
1. Откройте в браузере ваш-сайт.ru/robots.txt.
2. Проверьте, что под строкой «User-agent: *» нет строки «Disallow: /».
3. Поищите в файле YandexBot, YandexAdditional, OAI-SearchBot и PerplexityBot. Стоит рядом «Disallow» — покажите это тому, кто ведёт сайт.
4. Перед любой правкой сохраните копию файла. После правки проверьте его в Вебмастере, инструмент «Анализ robots.txt».
Что роботы нейросетей закрывать можно, сказано в документации OpenAI, Anthropic и Google. Время на проверки — наша оценка.
Все 20 проверок с инструментами и признаками ошибки —
разбор в статьеБез ИИлюзий →
Telegram ·
MAX