GUIDE Практическое руководство
robots.txt: как настроить и проверить
robots.txt управляет обходом, но не является надёжным способом удалить URL из поиска. Именно смешение обхода и индексации приводит к большинству ошибок.
Минимальный пример
Для открытого сайта достаточно User-agent: * и ссылки Sitemap. Запрещайте только технические разделы, которые действительно не нужно обходить.
Частая ошибка
Disallow: / закрывает весь сайт. Другой риск — блокировка CSS и JavaScript, необходимых поисковику для полноценного рендера.
Robots и noindex
Чтобы убрать страницу из индекса, робот сначала должен увидеть директиву noindex. Если URL одновременно закрыт в robots.txt, директива может остаться непрочитанной.