Robots.txt
Robots.txt — текстовый файл с правилами обхода сайта для роботов. Он задаёт, какие адреса определённым роботам разрешено или запрещено запрашивать.
На практике
Правила размещают в корне сайта и проверяют на реальных адресах: каталоге, параметрах, служебных страницах. Ограничение обхода и исключение из индекса — разные задачи.
Что важно учитывать
Disallow не является защитой закрытых данных и не всегда убирает URL из выдачи. Для конфиденциальной информации нужна авторизация, а для управления индексированием — подходящие средства.
Уточнения и правила: Google: возможности и ограничения robots.txt ↗.
Связанные термины
Посмотреть на реальных проектах
В кейсах ISKAR показываем выполненные работы, заявки и звонки, поисковый трафик и позиции.
Кейсы продвижения →