-
Период
Полнота и часовой пояс
-
Робот
Проверка подлинности запросов
-
Группа
Коды и шаблоны адресов
-
Задача
Исправление и повторный обход
Анализ серверных логов показывает, какие URL запрашивали посетители и роботы, когда это происходило и какой ответ вернул сервер. Для SEO он полезен там, где обычный обход сайта не отвечает на вопрос: посещал ли поисковик важные страницы и сколько запросов потратил на ошибки или дубли. Начните с конкретной гипотезы, а не с загрузки всех журналов за год.
Минимальный результат: подтверждённые запросы робота, распределение по типам страниц, проблемные URL и список исправлений. Логи не показывают позицию в выдаче и сами по себе не доказывают индексацию.
Какие данные запросить у разработчика
Нужны журналы доступа за выбранный период и описание инфраструктуры: где расположен прокси, используется ли CDN, какие запросы доходят до приложения. Если часть ответов отдаётся на границе сети, журнал исходного сервера не содержит полной картины. Зафиксируйте часовой пояс и моменты смены конфигурации, иначе последовательность событий легко перепутать.
| Поле | Для чего нужно | Ограничение |
|---|---|---|
| Время | Связать запрос с релизом или сбоем | Указать часовой пояс |
| Метод и URL | Отделить страницы от API и файлов | Параметры могут содержать чувствительные данные |
| HTTP-статус | Найти редиректы и ошибки | 200 не гарантирует полезное содержимое |
| User-Agent и адрес источника | Проверить принадлежность роботу | User-Agent можно подделать |
| Время ответа и размер | Найти необычно дорогие запросы | Сравнивать одинаковые типы ответа |
Доступ к сырым журналам ограничивают участниками задачи. Не загружайте полный файл в случайный онлайн-сервис: в URL встречаются email, токены и идентификаторы заказов. Для редакционного отчёта удалите персональные значения, сохранив структуру адресов. Внутри команды заранее согласуйте срок хранения и место выгрузки.
Как отличить Googlebot и YandexBot от имитации
Строка Googlebot в User-Agent — лишь заявление клиента. Google описывает проверку через опубликованные диапазоны IP либо обратное и последующее прямое DNS-разрешение. При проверке DNS важно подтвердить, что найденное имя снова разрешается в исходный адрес. Для Яндекса используйте его собственную процедуру, а не список доменных суффиксов другого поисковика.
Проверка принадлежности нужна до выводов о нагрузке и обходе. Иначе сканер, представившийся роботом, может создать впечатление, что поисковик постоянно атакует параметры фильтра. Методику и дату сверки сохраните рядом с отчётом. Проверка запросов Google, проверка робота Яндекса.
Сгруппируйте запросы по задачам сайта
Сначала отделите HTML от изображений, скриптов и служебного API. Затем разделите страницы: услуги, категории, товары, статьи, фильтры и параметры. Для каждого типа посчитайте уникальные адреса, запросы, ошибки и последние посещения. Не смешивайте число запросов с числом страниц: один URL мог быть запрошен много раз.
Сопоставьте список с sitemap и внутренними ссылками. Важная страница без посещений в выбранном журнале требует проверки, но это ещё не доказательство, что робот никогда её не видел. Возможно, период слишком короткий, лог неполный или ответ пришёл с другой площадки. Такие ограничения фиксируют до постановки массовых задач.
Учебный пример: что означает большое число дублей
Предположим, в условной выгрузке 1 000 запросов робота: 600 к сортировкам, 250 к основным страницам и 150 к редиректам. Это вымышленный пример арифметики, а не данные ISKAR. Доля сортировок равна 60%, но сама эта цифра не устанавливает причину проблем индексации.
Откройте несколько адресов из каждого шаблона. Проверьте, как они появляются в ссылках, что возвращают и какой canonical содержат. Если меню создаёт бесконечные комбинации параметров, задача относится к навигации и генерации URL. Если редиректы вызваны старыми внутренними ссылками, исправьте ссылки на конечные адреса. Один запрет в robots.txt не заменяет выбор поведения для каждого типа страниц.
Как превратить журнал в задания
- Назвать проблему: например, робот получает 503 на карточках определённого раздела.
- Приложить несколько обезличенных строк и адресов, время, частоту и способ подтверждения робота.
- Проверить воспроизводимость на текущей версии сайта.
- Назначить исправление и критерий приёмки: правильный ответ, рабочая ссылка или прекращение генерации дублей.
- Повторить сбор на сопоставимом периоде после выпуска.
Для ошибок временной недоступности пригодится инструкция по 503. Для страниц с поэтапной загрузкой — разбор пагинации. В отчёте полезнее показать связь конкретной ошибки с работой сайта, чем оставить большой график без следующего действия.
Частые вопросы
Если робот получил 200, страница уже в индексе?
Нет. Это подтверждает получение ответа сервера. Его содержимое, выбранный canonical и дальнейшая обработка проверяются отдельно. Для участия в поиске нужны данные Вебмастера или Search Console.
Нужны ли логи небольшому сайту услуг?
При обычном плановом аудите можно начать с поисковых панелей и проверки страниц. Журналы особенно полезны при повторных сбоях, подозрении на некорректный обход или расхождении между текущим состоянием сайта и данными поисковика.
Что получает бизнес
Хороший разбор заканчивается коротким приоритетным списком: где сайт теряет доступность, какие адреса создают лишний обход и что разработчик должен изменить. В техническом SEO-аудите логи связывают с проверкой шаблонов, индексации и навигации. Цель — исправить подтверждённые препятствия, а не уменьшить любой показатель запросов робота.
Как оформить задачу по результатам анализа
В карточке ошибки укажите группу URL, период, число ответов нужного типа и пример запроса. Приложите маршрут воспроизведения и ожидаемое поведение. Например: ссылки из фильтра ведут на удалённые адреса, которые сервер отвечает кодом 404; нужно заменить именно источник ссылок, а не перенаправлять все ошибки на главную.
После внедрения сравнивайте одинаковые интервалы и отдельно смотрите обновлённый шаблон. Падение числа запросов само по себе не доказывает исправление: робот мог ещё не вернуться. Дождитесь повторных обращений к контрольным URL и проверьте их ответы. Сохраните исходный отчёт, дату выпуска и результат перепроверки. Так другой специалист сможет восстановить ход диагностики, а бизнес увидит, какая подтверждённая проблема устранена.
