Директивы robots.txt
Директивы robots.txt задают правила для группы роботов. User-agent выбирает адресата, Allow и Disallow описывают разрешённые и запрещённые пути, Sitemap указывает карту.
Также встречается: Анализ, использование и директивы файла robots.txt.
Для чего используется
Директивы robots.txt позволяют описать правила обхода для разных роботов и групп адресов. SEO-специалист применяет их к внутреннему поиску, сортировкам и другим техническим состояниям. Эффективная настройка начинается с таблицы URL: какие адреса нужно обходить, какие исключить и какие оставить доступными внутри закрытого раздела.
Как применяется
Тестируйте каждое значимое правило на разрешённом и запрещённом URL. Особое внимание — широким маскам и параметрам: ими легко случайно закрыть полезную часть каталога.
- Определите группы User-agent и правила Allow/Disallow; проверьте, нет ли широкого запрета, перекрывающего полезные разделы.
- Составьте таблицу ожидаемого поведения: разрешённые страницы, закрытые технические адреса и исключения внутри каталогов.
- Протестируйте таблицу для нужных роботов и опубликуйте изменение с возможностью быстрого возврата предыдущей версии.
Практический пример
Не путать файл robots.txt с метатегом robots
Учебный документ должен открываться человеку, но не появляться в поиске.
<meta name="robots" content="noindex">| Настройка | Проверка |
|---|---|
| Noindex в HTML | Находится в head опубликованной страницы. |
| Доступ робота | Robots.txt не мешает прочитать эту страницу. |
| Результат | После обхода проверяется исключение в поисковой панели. |
Если одновременно запретить обход, робот не сможет прочитать метатег. Проверка одной строки без точного URL и user-agent не выявляет такие конфликты.
Ошибки и риски
Поддержка директив различается у поисковых систем. Правило проверяют для нужного User-agent по его документации.
Широкая маска способна закрыть полезные фильтры вместе с техническими параметрами. Тестируйте разрешённый адрес, запрещённый адрес и исключение, затем проверяйте именно опубликованный файл.
Как проверить результат
Сверьте ответ сервера и фактически опубликованный файл. Затем проверьте обход важных адресов и отсутствие случайного запрета после обновления CMS.
Связанные термины
Продолжить по теме
- Практика: Как выбрать правило для параметров URL
- Инструмент: Проверка robots.txt
- Помощь с внедрением: SEO-аудит сайта