ГКР «Арт Групп» | Арт-Лаборатория

📊 Почему позиции в отчётах могут резко меняться
В последние дни в отчётах возможны заметные колебания позиций сайтов. Причина — ограничения в работе источников данных Яндекса, влияющие на сбор статистики.

Что известно сейчас:

🔹 Яндекс Search API работает частично. Автоматические проверки запускаются только с 20:00 до 05:59 по московскому времени. Если проверка запущена в промежутке с 20:00 до 23:59, её результаты появятся в проекте не раньше полуночи.
🔹 Источник Яндекс доступен с 00:00 до 06:00 по московскому времени. Днём используется «живая выдача» с меньшей глубиной проверки. Из-за этого отдельные запросы могут отображаться как потерявшие позиции или ненайденные.

При ручной проверке сайты остаются на прежних местах. Такие расхождения в отчётах связаны с временными техническими ограничениями и не отражают реального снижения позиций.

Команда «Арт Групп» следит за ситуацией.
Если у вас возникли вопросы по отчётам — мы на связи!

🅰️ ГКР «Арт Групп» | Арт-Лаборатория

🔎 Страница есть в sitemap, но её нет в поиске: что проверить

Sitemap — это карта сайта, которая помогает поисковику узнать об адресах страниц. Однако наличие URL в этом файле не гарантирует обход, индексацию или показ по нужному запросу.

Разбираем три этапа диагностики.

1️⃣ Обнаружение — знает ли поисковик адрес?
Проверьте, доступен ли sitemap и правильно ли указан URL. На важную страницу должны вести обычные внутренние ссылки: карта сайта не заменяет навигацию.
2️⃣ Обход — смог ли робот загрузить страницу?
Проверьте ответ сервера, ограничения в robots.txt и доступность контента без авторизации и действий пользователя. Страница, которая открывается у вас, может быть недоступна роботу.
3️⃣ Индексация — что произошло после загрузки?
Проверьте запреты noindex в HTML и X-Robots-Tag в заголовках ответа, дубли контента и canonical — указание предпочтительного адреса страницы.

⚠️ robots.txt и noindex решают разные задачи: первый управляет обходом, второй — индексацией. Если обход запрещён, робот может не увидеть noindex.

С чего начать проверку в Яндекс Вебмастере?

🔹 «Индексирование» → «Страницы в поиске»
Проверьте, участвует ли страница в поиске. Если она исключена, изучите указанную причину — например, дублирование или ошибку загрузки.
🔹 «Инструменты» → «Проверка ответа сервера»
Введите адрес страницы и выберите робота Яндекса. Проверьте доступность URL, код ответа и возможные ограничения. Для обычной рабочей страницы ожидаемый ответ — 200 OK.
🔹 «Инструменты» → «Анализ файлов Sitemap»
Проверьте карту сайта на ошибки и убедитесь, что она содержит нужный адрес.
🔹 «Индексирование» → «Переобход страниц»
После устранения проблем отправьте URL на повторный обход. Это поможет сообщить роботу об изменениях, но не гарантирует попадания страницы в поиск или высоких позиций.

💡 Сначала найдите и устраните причину, затем запрашивайте переобход. Повторная отправка страницы не исправляет технические ошибки и проблемы с содержимым.

🅰️ ГКР «Арт Групп» | Арт-Лаборатория

🤖 Robots.txt и нейросети: какие запреты работают

Google объяснил, как роботы читают robots.txt и что учитывать при настройке правил для ИИ-сервисов.

Собрали главное для владельцев сайтов 👇

🔹 Роботы понимают команды, а не просьбы
Фраза «не используйте наши тексты для обучения ИИ» сама по себе ничего не меняет. Google распознаёт поля User-agent, Allow, Disallow и Sitemap. Неподдерживаемые команды, включая Crawl-delay, игнорирует.
🔹 Для каждого ИИ-бота — свои правила
Чтобы ограничить обход, нужно указать идентификатор робота из документации его оператора и запрещённые пути. Универсальной команды «запретить всем нейросетям обучение» в стандарте robots.txt нет.
🔹 Кириллица и эмодзи в адресах допустимы
Google понимает такие символы в путях. Но для совместимости с другими роботами рекомендует процентное кодирование — запись символов через % и комбинации букв и цифр.
🔹 У Google есть отдельная настройка для Gemini
Токен Google-Extended регулирует использование контента для обучения будущих моделей Gemini и формирования ответов с опорой на источники в отдельных продуктах. Эти правила не влияют на присутствие сайта в Google Поиске и его ранжирование.
🔹 robots.txt не защищает закрытые данные
Запрет обхода не заменяет пароль и проверку прав доступа. И даже не гарантирует, что адрес страницы исчезнет из поиска.

💡 Что рекомендуем в Арт Групп: проверьте, какие разделы доступны поисковым роботам, какие ограничения заданы для ИИ-сервисов и не закрыты ли важные страницы. Настройки стоит выбирать под задачи сайта — особенно если вы рассчитываете получать трафик из поиска и ИИ-ответов.

Хотите разобраться с robots.txt на вашем сайте?
Напишите нам — поможем проверить настройки.

🅰️ ГКР «Арт Групп» | Арт-Лаборатория