Robots.txt
Robots.txt — текстовый файл с правилами обхода сайта для роботов. Он задаёт, какие адреса определённым роботам разрешено или запрещено запрашивать.
Для чего используется
Robots.txt управляет обходом сайта: помогает направить ресурсы робота на полезные разделы и сократить загрузку технических URL. В SEO его используют при работе с параметрами, внутренним поиском и служебными каталогами. Изменение проверяют на конкретных адресах, поскольку одна широкая маска может затронуть весь ассортимент.
Как применяется
Правила размещают в корне сайта и проверяют на реальных адресах: каталоге, параметрах, служебных страницах. Ограничение обхода и исключение из индекса — разные задачи.
- Сопоставьте структуру сайта с журналами обхода: выделите каталог, служебные адреса, поиск и параметры сортировки.
- Подготовьте правила для нужных роботов и протестируйте на конкретных URL, включая исключения и вложенные разделы.
- После выпуска проверьте доступность файла, важных страниц, CSS и JavaScript; сохраните предыдущую версию для отката.
Практический пример
Почему запрет всех параметров опасен
В учебном каталоге power выбирает исполнение, а ref обозначает источник перехода.
Disallow: /*?| Адрес | Риск этого правила |
|---|---|
| /catalog/?ref=mail | Под запретом вариант с меткой. |
| /catalog/?power=220 | Под запретом также полезная подборка исполнения. |
Проверьте правила для каждого нужного робота и обоих URL. Сначала классифицируйте параметры; затем отдельно решайте задачи обхода, индексирования и объединения дублей.
Ошибки и риски
Disallow ограничивает сканирование, а не служит надёжной командой удаления URL из выдачи. Для noindex роботу нужен доступ к странице.
Закрытые CSS и JavaScript могут мешать обработке содержимого. После правки проверяют важные шаблоны и ответ robots.txt на основном домене, а не только файл в репозитории.
Как проверить результат
Проверьте разрешение обхода для представителей каждого шаблона, а затем наблюдайте за запросами роботов и состоянием индексирования в панелях.
Связанные термины
Продолжить по теме
- Практика: Как выбрать правило для параметров URL
- Инструмент: Проверка robots.txt
- Помощь с внедрением: SEO-аудит сайта