Screaming Frog SEO Spider
Screaming Frog SEO Spider — программа для обхода сайтов и технического анализа URL. Она собирает сведения об ответах сервера, ссылках, метаданных и других элементах.
Также встречается: Screaming Frog.
Для чего используется
Screaming Frog SEO Spider собирает техническую картину сайта: коды ответа, метаданные, canonical, заголовки и внутренние ссылки. Специалист получает не перечень случайных ошибок, а выборку страниц с общим дефектом. По ней удобно поставить задачу разработчику и повторным обходом проверить результат внедрения.
Как применяется
Начните с ограниченного обхода, согласуйте нагрузку и режим обработки JavaScript. Найденные дубли и ошибки проверяйте на отдельных страницах перед массовыми исправлениями.
- Выберите режим и границы сканирования: весь домен или список URL; согласуйте скорость обхода, особенно для небольшого сервера.
- Проверьте настройки JavaScript, авторизации и исключений, затем сгруппируйте результаты по шаблонам, а не только по отдельным адресам.
- Сформируйте задачи с примерами и ожидаемым результатом; после исправлений повторите сопоставимый обход и сравните отчёты.
Практический пример
В выгрузке найдены сотни пустых title, но все относятся к одному шаблону фильтра. Исправление шаблона эффективнее ручного заполнения каждого адреса. После выпуска проверяют и старые, и новые комбинации.
Учебный пример.Ошибки и риски
Настройки обхода влияют на выводы: JavaScript-рендеринг, robots.txt, лимиты URL и параметры нужно выбирать под конкретный сайт.
Выгрузка без группировки создаёт десятки одинаковых задач. Найдите шаблонную причину, оцените затронутые посадочные и приложите к задаче примеры до и после исправления.
Как проверить результат
Сверьте выборку с HTML и поисковыми панелями. Отсутствие URL в обходе может означать отсутствие внутренних ссылок, а не отсутствие страницы.
Связанные термины
Продолжить по теме
- Разобраться подробнее: Первый аудит и семь отчётов SEO Spider
- Решить задачу: Технический аудит сайта