Краулинговый бюджет
Краулинговый бюджет — ресурсы, которые поисковый робот выделяет на обход сайта. На объём обхода влияют возможности сервера и интерес поиска к страницам и их обновлениям.
Также встречается: Crawl budget, Бюджет обхода.
Для чего используется
Работа с бюджетом обхода особенно полезна крупным каталогам и часто обновляемым площадкам. Она помогает сократить поток бесполезных URL и сделать важные изменения доступными роботу. Небольшому сайту, чьи страницы уже посещаются своевременно, обычно важнее исправить конкретные ошибки индексирования, чем искать способы увеличить абстрактный лимит.
Как применяется
SEO-специалист сопоставляет серверные логи, структуру URL и отчёты индексирования. Задача — понять, почему важные страницы долго ждут посещения, а технические адреса обходятся снова и снова.
- Разделите посещения подтверждённых поисковых роботов по типам страниц и кодам ответа. Найдите параметры, бесконечные календари, цепочки редиректов и повторяющиеся ошибки.
- Сопоставьте обход с ценностью URL: новыми товарами, обновлёнными категориями и снятыми страницами. Проверьте внутренние ссылки и актуальность Sitemap.
- Устраните генерацию лишних адресов, проблемы сервера и доступность приоритетных разделов. Выбирайте robots, canonical или удаление исходя из задачи каждого типа URL.
Практический пример
Каталог создаёт тысячи сочетаний сортировки, хотя ассортимент не меняется. Робот тратит посещения на эти адреса, а новые карточки обнаруживает поздно. Исправление ссылок и правил параметров уменьшает лишний обход и облегчает доступ к новым товарам.
Учебный пример.Ошибки и риски
Обход и индексирование — разные этапы. Даже быстро скачанная страница может не попасть в индекс из-за дублей, содержания или других причин.
Закрытие всех фильтров может лишить сайт полезных посадочных. Массовый noindex также требует обхода, чтобы прочитать директиву. Решение принимают по фактическим логам, а не только по размеру сайта.
Как проверить результат
Отслеживайте задержку между публикацией и первым обходом, долю посещений полезных URL и ошибки сервера. Индексацию и поисковые переходы проверяйте отдельно.
Связанные термины
Продолжить по теме
- Разобраться подробнее: Анализ серверных логов для SEO
- Решить задачу: Технический SEO-аудит