-
Границы
Домен, раздел и нагрузка
-
Обход
Страницы и ссылки в выборке
-
Причина
Шаблон, настройка или отдельный URL
-
Задачи
Ответственный и проверка после релиза
Screaming Frog SEO Spider обходит сайт и собирает технические сведения о страницах и ссылках. Для первого аудита важно не выгрузить все доступные столбцы, а получить список проверяемых задач: что сломано, где находится причина и как принять исправление.
Начните с ограниченного обхода своего сайта. Семь отчётов ниже помогут проверить доступность страниц, метаданные, canonical и внутренние ссылки. Обход сканером не доказывает фактическую индексацию в Google или Яндексе.
Подготовка: бесплатная версия и границы проверки
Скачивайте программу с официального сайта Screaming Frog. Бесплатная версия позволяет обходить до 500 URL за запуск; часть настроек и расширенных функций доступна по лицензии. Достижение лимита означает незавершённую выборку, а не отсутствие проблем за её пределами.
До запуска запишите основной домен, разрешённые поддомены и разделы. У магазина могут быть бесконечные комбинации фильтров и календарей. Не начинайте с максимальной глубины и нагрузки, если не знаете устройство сайта. Для чужого ресурса согласуйте сканирование с владельцем.
Начальный маршрут: режим Spider → адрес основной HTTPS-версии → Start. Следите за числом найденных URL и ответами сервера. При росте ошибок остановите обход. В лицензируемых настройках Configuration → Speed можно ограничить скорость; смысл параметров и предупреждение о нагрузке есть в руководстве по конфигурации.
Пример осторожного начала — согласованный тест на небольшом разделе. Не считайте 1 запрос в секунду универсально безопасной настройкой: тяжёлые страницы и слабый сервер могут требовать меньшей нагрузки. Не обходите защиту подменой робота без согласования.
Семь отчётов и задачи, которые из них получаются
Названия вкладок приведены для англоязычного интерфейса. Состав колонок и фильтров зависит от версии; ориентируйтесь на назначение поля. Список ниже — редакционный маршрут проверки, а не требование исправлять каждое предупреждение программы.
| Отчёт | Что искать | Какую задачу поставить |
|---|---|---|
| 1. Response Codes | 4xx, 5xx, недоступные важные URL | Восстановить страницу либо исправить ведущую на неё ссылку |
| 2. Redirection (3xx) | Внутренние ссылки через переносы, лишние промежуточные адреса | Поставить ссылку сразу на подходящий конечный URL |
| 3. Page Titles | Пустые и одинаковые Title у разных полезных страниц | Исправить шаблон и данные, из которых он собирается |
| 4. Meta Description | Отсутствующие или повторяемые описания | Сначала доработать важные посадочные, не заполнять всё одной фразой |
| 5. H1 | Отсутствующий основной заголовок, чужая модель в шаблоне | Согласовать видимое название с содержимым |
| 6. Canonicals | Ссылки на неверный, закрытый или перенаправляемый адрес | Проверить назначение страницы и согласовать канонические сигналы |
| 7. Inlinks для выбранного URL | Какие страницы и анкоры ведут на проблемный адрес | Исправить первоисточник ссылки в меню, тексте или шаблоне |
Столбец Indexability отражает техническую оценку сканера. Страница с пометкой Indexable может не находиться в поисковом индексе. Для фактического статуса нужны Яндекс Вебмастер или Search Console. Не выдавайте таблицу обхода за выгрузку проиндексированных страниц.
Пример: от найденной 404 до принятой задачи
Учебный магазин содержит категорию /catalog/pumps/. В одной статье ссылка ведёт на /catalog/pupms/ и получает 404. Выберите ошибочный адрес в Response Codes и откройте нижнюю вкладку Inlinks: важен не только отсутствующий документ, но и страница, где стоит опечатка.
Задача редактору: «В статье заменить href /catalog/pupms/ на /catalog/pumps/, текст ссылки сохранить». Проверка: статья ведёт напрямую на категорию, категория отвечает 200 и содержит нужные товары. Не нужно создавать новый раздел с ошибочным названием или направлять все 404 на главную.
Работу с входящими ссылками и экспортом поясняет официальная инструкция по битым ссылкам. Для одиночной проверки без установки сканера подойдёт наш анализатор ответов и перенаправлений.
Как не перепутать предупреждение и проблему
Одинаковый H1 не всегда требует немедленного удаления страницы: сначала посмотрите её назначение, параметры и выбранный canonical. Длинный Title может нуждаться в редактуре, но превышение порога сканера не доказывает поискового штрафа. Отсутствие Description у служебного URL менее приоритетно, чем 500 на основной категории.
Если содержимое собирается JavaScript, обычный обход исходного HTML может не показать то, что видит браузер. Рендеринг требует отдельной настройки и ресурсов; проверьте доступность функции в вашей лицензии. Не включайте тяжёлый режим на весь каталог до проверки нескольких шаблонов. Разницу разбираем в статье «Google не видит товары».
Ещё одна граница: сканер обнаруживает ссылки из доступных источников. Страница без внутренних ссылок может не попасть в обход от главной. Сопоставляйте результаты с Sitemap и списком опубликованных URL CMS. Для карты сайта есть проверка Sitemap, включая вложенные карты.
Шаблон итогового списка задач
В рабочей таблице оставьте колонки: URL, наблюдение, источник ссылки или настройки, действие, ответственный, приоритет, проверка после релиза. Добавьте дату обхода, версию программы, лимит и режим. Без этих условий трудно воспроизвести вывод.
Объединяйте одинаковые причины. Если 300 карточек получили пустой Title из одного шаблона, это одна задача с выборкой для приёмки, а не 300 независимых правок. После выпуска повторите нужный обход и проверьте соседние страницы. Сохраните старую и новую выгрузки отдельно.
Частые вопросы
Почему сканер нашёл меньше страниц, чем есть в CMS?
Возможны лимит версии, запреты обхода, отсутствующие ссылки, настройки области или JavaScript. Сравните конкретный пропущенный URL с маршрутами до него. Количество само по себе не объясняет причину.
Нужно ли менять все повторяющиеся Description?
Сначала отделите самостоятельные посадочные от технических вариантов адресов. Для полезных страниц пишите описание по содержанию. Если это один документ с параметрами, проблема может быть в адресации, а не в нехватке уникального текста.
Можно ли считать такой обход полным SEO-аудитом?
Нет. Он даёт техническую выборку, но не проверяет спрос, качество предложения, реальные продажи и всю поисковую историю. Используйте результаты как часть аудита и связывайте найденные дефекты с важными страницами бизнеса.
