Noindex
Noindex — директива, которая запрещает включать страницу в поисковый индекс. Её передают в метатеге robots или HTTP-заголовке X-Robots-Tag, в том числе для файлов без HTML.
Также встречается: Мета robots noindex, Запрет индексации, X-Robots-Tag.
Для чего используется
Noindex позволяет исключить из выдачи страницы внутреннего поиска, технические подборки и другие URL, которым не нужна самостоятельная поисковая видимость. Это инструмент управления составом индекса. Для защиты личного кабинета или закрытых документов нужна авторизация: отсутствие страницы в выдаче не ограничивает доступ по ссылке.
Как применяется
В SEO-проекте составляют карту индексирования: какие типы страниц привлекают спрос, а какие обслуживают пользователя. Noindex назначают по этой карте, а не всему разделу с похожими адресами.
- Проверьте трафик, ссылки и назначение URL перед исключением. Сохраните список страниц и объяснение, почему им не нужна индексация.
- Настройте метатег для HTML или заголовок для другого типа ресурса. Проверьте реальный ответ сервера и отсутствие противоречащих шаблонных правил.
- Дайте роботу повторно посетить URL и проверьте результат в инструментах вебмастера. Контролируйте, что правило не попало на категории, карточки и статьи.
Практический пример
На сайте есть полезная категория «офисные кресла» и внутренний поиск по произвольной строке. Категория остаётся открытой, а страницы результатов внутреннего поиска получают noindex. Посетители продолжают пользоваться поиском на сайте, но случайные комбинации не становятся посадочными из Google.
Учебный пример.Ошибки и риски
Роботу нужен доступ к странице, чтобы прочитать noindex. Если одновременно закрыть URL в robots.txt, директива может остаться незамеченной.
Запись noindex в robots.txt не заменяет метатег. Другая опасная ошибка — оставить запрет после переноса тестового сайта на основной домен. Его ищут и в HTML, и в заголовках сервера.
Как проверить результат
Сравните список исключённых URL с планом и проверьте ключевые коммерческие страницы. Если адрес ещё виден в поиске, уточните дату последнего обхода и то, какую директиву получил робот.