Директивы robots.txt
Директивы robots.txt задают правила для группы роботов. User-agent выбирает адресата, Allow и Disallow описывают разрешённые и запрещённые пути, Sitemap указывает карту.
Также встречается: Анализ, использование и директивы файла robots.txt.
На практике
Тестируйте каждое значимое правило на разрешённом и запрещённом URL. Особое внимание — широким маскам и параметрам: ими легко случайно закрыть полезную часть каталога.
Что важно учитывать
Не переносите правила с другого сайта без проверки. Роботу нужен доступ к важным ресурсам страницы, а конфиденциальные разделы должны защищаться независимо от robots.txt.
Связанные термины
Посмотреть на реальных проектах
В кейсах ISKAR показываем выполненные работы, заявки и звонки, поисковый трафик и позиции.
Кейсы продвижения →