User-Agent

User-Agent — поле HTTP-запроса, которым клиент сообщает о своём программном обеспечении. Его используют браузеры, поисковые роботы и другие программы. Значение может быть изменено отправителем, поэтому само по себе не подтверждает личность клиента.

Также встречается: User-Agent.

Для чего используется

Практическая задача — понять, кто и как получает страницы, а также найти ошибочную блокировку. Для AI-сервисов важно различать поискового робота, сбор для обучения и запрос по действию пользователя.

Как SEO-специалист использует это в проекте

В SEO User-Agent нужен для чтения логов, анализа обхода, выбора групп robots.txt и диагностики разных ответов сервера. Специалист сопоставляет имя робота, IP, время, URL и код ответа, а не принимает любое упоминание Googlebot за настоящий обход Google.

Сохраните URL и время проблемного запроса.
Сопоставьте заголовок с правилами robots.txt и журналом WAF.
Подлинность поискового робота проверяйте способом, опубликованным его владельцем.

Практический пример

Учебный пример: robots.txt разрешает OAI-SearchBot, но WAF возвращает 403 с его IP. Изменение Allow не исправит правило защиты. Нужно проверить опубликованные диапазоны и конкретное срабатывание WAF.

Иллюстрация подхода, не данные конкретного проекта.

Ошибки и риски

Подмена User-Agent в запросе не воспроизводит IP, cookies, JavaScript и поведение настоящего робота. Публичные данные нельзя защищать только блокировкой одного имени; для закрытой информации нужна авторизация.

Считать User-Agent паролем; менять ответы только ради красивой проверки; смешивать GPTBot и OAI-SearchBot; выдавать запрос своего валидатора за реальный визит поисковика.

Как проверить результат

Проверка robots.txt ISKAR показывает правила для выбранного имени. Фактическую доставку страницы подтверждают журнал сервера и ответ на реальный запрос, а появление в поиске — отдельная проверка.

Связанные термины

Продолжить по теме

← Все термины