X-Robots-Tag
X-Robots-Tag — HTTP-заголовок ответа, задающий поддерживаемые поисковой системой ограничения индексации и представления ресурса. Он подходит в том числе для PDF и других файлов, где нельзя разместить HTML-метатег robots.
Также встречается: HTTP robots, Robots header.
Для чего используется
Инструмент полезен, когда нужно управлять поисковым присутствием скачиваемых материалов или исправить массовое ограничение, случайно оставшееся после тестового запуска. Он позволяет решать задачу на уровне ответа, не меняя содержимое каждого файла.
Как SEO-специалист использует это в проекте
SEO-специалист определяет политику для типов документов, а разработчик настраивает её на сервере или в приложении. Заголовок проверяют по реальному ответу конечного URL, включая файлы из CDN и объектного хранилища.
- Определите, какие документы должны участвовать в поиске и какие ограничения действительно нужны.
- Настройте точное правило для нужного типа или пути, не распространяя запрет на весь сайт.
- Проверьте ответы существующих и новых ресурсов и возможность повторного обхода поисковиком.
Практический пример
Компания оставляет открытую HTML-страницу инструкции, а архивный PDF не хочет показывать в поиске. Для доступного роботу файла задаётся noindex; закрытые коммерческие документы при этом защищают авторизацией, а не поисковым заголовком.
Иллюстрация подхода, не данные конкретного проекта.Ошибки и риски
Чтобы увидеть правило, робот должен получить ресурс. Запрет обхода в robots.txt может помешать прочитать X-Robots-Tag; noindex не является защитой конфиденциального документа от прямого доступа.
Не ищите правило только в исходном коде HTML: оно передаётся в заголовках. Учитывайте настройки прокси и кэша, которые могут добавлять старый запрет независимо от приложения.
Как проверить результат
Сверяйте фактические заголовки, robots meta и политику обхода. После исправления наблюдайте повторный обход и индекс отдельно: изменение ответа не означает немедленное обновление выдачи.
Связанные термины
Продолжить по теме
- Разобраться подробнее: Google просканировал, но не проиндексировал
- Решить задачу: Технический SEO-аудит