GUIDE Практическое руководство
Noindex: как закрыть страницу от индексации
Директива noindex сообщает поисковой системе, что доступную для обхода страницу не нужно показывать в результатах поиска. Если одновременно закрыть URL в robots.txt, робот может не увидеть эту директиву.
Почему страница с noindex остаётся в поиске?
Поисковой системе нужно повторно обойти доступный URL и прочитать meta robots или X-Robots-Tag. Если страница закрыта в robots.txt, робот может не увидеть noindex; если директива добавлена только клиентским скриптом, нужно проверить отрисованный результат.
Признаки проблемы
- Noindex добавлен, но URL закрыт в robots.txt
- HTML и HTTP-заголовок содержат разные директивы
- Страница остаётся в sitemap
- Запрет появляется только после выполнения JavaScript
Выберите подходящий механизм
Для HTML-страницы используйте meta robots, а для PDF и других файлов — HTTP-заголовок X-Robots-Tag. Ограниченный контент защищайте авторизацией: noindex не является средством контроля доступа.
Не создавайте конфликт
Чтобы обработать noindex, робот должен получить страницу или файл. Проверьте robots.txt, ответ сервера, meta robots и X-Robots-Tag вместе, а не по отдельности.
Уберите URL из сигналов индексации
Не включайте закрытую страницу в sitemap и не назначайте её канонической версией индексируемого материала. Внутренние ссылки оставляйте только если переход действительно нужен пользователю.
Проверьте после обхода
Сверьте исходный HTML и HTTP-заголовки опубликованного URL, затем дождитесь нового обхода. Наличие директивы подтверждает настройку, но обновление поисковой базы происходит не мгновенно.
Пошаговая диагностика
- Проверьте конечный HTTP-статус URL.
- Сверьте robots.txt и доступность страницы для робота.
- Найдите meta robots в HTML и X-Robots-Tag в заголовках.
- Удалите конфликтующие сигналы из canonical и sitemap.
- Дождитесь переобхода и проверьте статус в поисковой панели.
Как проверить результат
Настройка подтверждена, когда робот может открыть URL и получает однозначный noindex в HTML или HTTP-заголовке. Исчезновение страницы из выдачи проверяется после обновления поисковой базы.