Верификация поискового робота

Верификация робота — проверка того, что запрос действительно пришёл от заявленного поискового сервиса. Название в User-Agent является только сообщением клиента и может быть подделано.

Также встречается: Верификация поискового робота.

Для чего используется

Проверка позволяет отличить обход поиска от сканера с чужим именем. Без неё отчёт о «миллионе запросов Google» может описывать совершенно другой трафик.

Как SEO-специалист использует это в проекте

Её используют при анализе логов и настройке исключений WAF. Для Google проверяют опубликованные IP соответствующей категории или выполняют обратное DNS-разрешение с проверкой домена и прямым разрешением обратно в исходный IP.

Извлеките IP из доверенного источника, учитывая прокси.
Выберите официальную процедуру для конкретного робота.
Запишите результат и дату проверки рядом с логами.

Практический пример

Учебный пример: обратный DNS содержит слово google, но домен принадлежит другой организации. Проверка допустимого суффикса и прямого DNS не пройдена — исключение WAF не выдаётся.

Иллюстрация подхода, не данные конкретного проекта.

Ошибки и риски

Проверенный бот не получает право читать закрытые разделы. Списки адресов и правила проверки меняются; используйте актуальную документацию владельца робота, а не найденный однажды список.

Считать достаточным PTR без обратной проверки; разрешать весь облачный ASN; путать обычного краулера и загрузчик по действию пользователя.

Как проверить результат

Локальный анализатор ISKAR классифицирует только User-Agent. Для доказанной принадлежности дополнительно проверьте IP по официальной инструкции; эти результаты не подменяют друг друга.

Связанные термины

Продолжить по теме

← Все термины