🤖 Robots.txt и нейросети: какие запреты работают

Google объяснил, как роботы читают robots.txt и что учитывать при настройке правил для ИИ-сервисов.

Собрали главное для владельцев сайтов 👇

🔹 Роботы понимают команды, а не просьбы
Фраза «не используйте наши тексты для обучения ИИ» сама по себе ничего не меняет. Google распознаёт поля User-agent, Allow, Disallow и Sitemap. Неподдерживаемые команды, включая Crawl-delay, игнорирует.
🔹 Для каждого ИИ-бота — свои правила
Чтобы ограничить обход, нужно указать идентификатор робота из документации его оператора и запрещённые пути. Универсальной команды «запретить всем нейросетям обучение» в стандарте robots.txt нет.
🔹 Кириллица и эмодзи в адресах допустимы
Google понимает такие символы в путях. Но для совместимости с другими роботами рекомендует процентное кодирование — запись символов через % и комбинации букв и цифр.
🔹 У Google есть отдельная настройка для Gemini
Токен Google-Extended регулирует использование контента для обучения будущих моделей Gemini и формирования ответов с опорой на источники в отдельных продуктах. Эти правила не влияют на присутствие сайта в Google Поиске и его ранжирование.
🔹 robots.txt не защищает закрытые данные
Запрет обхода не заменяет пароль и проверку прав доступа. И даже не гарантирует, что адрес страницы исчезнет из поиска.

💡 Что рекомендуем в Арт Групп: проверьте, какие разделы доступны поисковым роботам, какие ограничения заданы для ИИ-сервисов и не закрыты ли важные страницы. Настройки стоит выбирать под задачи сайта — особенно если вы рассчитываете получать трафик из поиска и ИИ-ответов.

Хотите разобраться с robots.txt на вашем сайте?
Напишите нам — поможем проверить настройки.

🅰️ ГКР «Арт Групп» | Арт-Лаборатория