Анализатор серверных логов для SEO
Загрузите access.log Nginx или Apache: посмотрите HTTP-ошибки, частые пути и запросы с User-Agent поисковых роботов. Обработка только на вашем устройстве.
Все бесплатные инструментыКак работает инструмент
Поддерживаем стандартные Common и Combined: адрес клиента, дата в квадратных скобках, запрос в кавычках, HTTP-код, размер ответа и необязательные Referer / User-Agent. Пользовательский JSON-формат сначала преобразуйте в Combined. Неизвестные строки считаем отдельно, а не принимаем за отсутствие ошибок.
В отчёт не попадают IP, Referer и полная строка User-Agent. Параметры после ? и фрагменты URL удаляются, пути агрегируются. В самом пути тоже могут быть личные данные — проверьте их перед передачей скачанного отчёта.
Название робота определяется только по User-Agent, который можно подделать. Подлинность IP/DNS здесь не проверяется. Common не содержит User-Agent: запросы видны в общем режиме, но не относятся к ботам. Результат описывает загруженную выборку, не весь сайт и не фактическую индексацию.
Что делать дальше
- Инструкция: Поисковый робот получает 403 или 429
- Исправить: Техническое SEO