Поисковый робот
Поисковый робот — программа, которая запрашивает ресурсы сайта для обнаружения и обработки содержания. Обход — необходимая часть поиска, но не обещание индексирования.
Также встречается: Краулер.
На практике
Обеспечьте доступ к важным страницам и ресурсам, следите за кодами ответа и лишними адресами. Для подтверждения робота используйте правила проверки его источника.
Что важно учитывать
Название робота в User-Agent не является удостоверением личности. Любой клиент может отправить похожую строку.
Связанные термины
Посмотреть на реальных проектах
В кейсах ISKAR показываем выполненные работы, заявки и звонки, поисковый трафик и позиции.
Кейсы продвижения →