GUIDE Практическое руководство
robots.txt: как настроить и проверить
robots.txt управляет обходом, но не является надёжным способом удалить URL из поиска. Именно смешение обхода и индексации приводит к большинству ошибок.
Что делать, если robots.txt закрыл сайт?
Проверьте, какое правило применяется к конкретному роботу и URL. Disallow запрещает обход, но не всегда удаляет уже известный адрес из поиска. После исправления робот должен снова получить файл, открыть важные страницы и увидеть их актуальные директивы индексации.
Признаки проблемы
- В файле есть Disallow: /
- Закрыт важный каталог или весь сайт
- В Вебмастере указан запрет robots.txt
- Страницы есть в sitemap, но робот не может их обойти
Минимальный пример
Для открытого сайта достаточно User-agent: * и ссылки Sitemap. Запрещайте только технические разделы, которые действительно не нужно обходить.
Частая ошибка
Disallow: / закрывает весь сайт. Другой риск — блокировка CSS и JavaScript, необходимых поисковику для полноценного рендера.
Robots и noindex
Чтобы убрать страницу из индекса, робот сначала должен увидеть директиву noindex. Если URL одновременно закрыт в robots.txt, директива может остаться непрочитанной.
Пошаговая диагностика
- Сохраните текущую версию robots.txt перед изменением.
- Проверьте правило для YandexBot и Googlebot на нескольких важных URL.
- Уберите только ошибочный запрет, не открывая служебные разделы.
- Убедитесь, что robots.txt отвечает 200 и доступен без редиректа.
- Отправьте исправленные страницы на переобход.
Как проверить результат
Готовый результат — поисковый робот получает robots.txt с ожидаемым правилом, а важные URL разрешены для обхода. Индексацию всё равно нужно сверить с noindex, canonical и качеством страницы.
Проверьте сайт целиком
Отдельный инструмент подтверждает один сигнал. Полный аудит сопоставляет его с остальными страницами, группирует повторяющиеся ошибки и помогает перепроверить исправление.
Запустить полный SEO-аудит →