GUIDE Практическое руководство

robots.txt: как настроить и проверить

robots.txt управляет обходом, но не является надёжным способом удалить URL из поиска. Именно смешение обхода и индексации приводит к большинству ошибок.

Что делать, если robots.txt закрыл сайт?

Проверьте, какое правило применяется к конкретному роботу и URL. Disallow запрещает обход, но не всегда удаляет уже известный адрес из поиска. После исправления робот должен снова получить файл, открыть важные страницы и увидеть их актуальные директивы индексации.

Признаки проблемы

  • В файле есть Disallow: /
  • Закрыт важный каталог или весь сайт
  • В Вебмастере указан запрет robots.txt
  • Страницы есть в sitemap, но робот не может их обойти

Минимальный пример

Для открытого сайта достаточно User-agent: * и ссылки Sitemap. Запрещайте только технические разделы, которые действительно не нужно обходить.

Частая ошибка

Disallow: / закрывает весь сайт. Другой риск — блокировка CSS и JavaScript, необходимых поисковику для полноценного рендера.

Robots и noindex

Чтобы убрать страницу из индекса, робот сначала должен увидеть директиву noindex. Если URL одновременно закрыт в robots.txt, директива может остаться непрочитанной.

Пошаговая диагностика

  1. Сохраните текущую версию robots.txt перед изменением.
  2. Проверьте правило для YandexBot и Googlebot на нескольких важных URL.
  3. Уберите только ошибочный запрет, не открывая служебные разделы.
  4. Убедитесь, что robots.txt отвечает 200 и доступен без редиректа.
  5. Отправьте исправленные страницы на переобход.

Как проверить результат

Готовый результат — поисковый робот получает robots.txt с ожидаемым правилом, а важные URL разрешены для обхода. Индексацию всё равно нужно сверить с noindex, canonical и качеством страницы.

Проверьте сайт целиком

Отдельный инструмент подтверждает один сигнал. Полный аудит сопоставляет его с остальными страницами, группирует повторяющиеся ошибки и помогает перепроверить исправление.

Запустить полный SEO-аудит →

До 100 страниц · без регистрации · результат не публикуется