-
Задача
Обход, индекс или доступ
-
Правило
Нужная группа роботов
-
Пример
Каталог, фильтр и ресурсы
-
Проверка
Контроль после публикации
Robots.txt на 1С-Битрикс настраивают под фактические адреса магазина: открывают нужный каталог и ресурсы страницы, ограничивают обход служебных URL и проверяют каждое спорное правило. Файл от другого проекта нельзя переносить целиком. Сначала определите, какую задачу решаете: сократить обход дублей, удалить страницу из поиска или защитить закрытый раздел. Для этих задач нужны разные меры.
С чего начать проверку robots.txt на Битрикс
Откройте https://example.ru/robots.txt на основном домене. Проверьте ответ сервера, содержимое и отсутствие переадресации на авторизацию. Сохраните копию файла до редактирования. Если правила собирает модуль, найдите его настройки: ручную правку может затереть следующая генерация.
Соберите контрольный список: категория, товар, SEO-страница фильтра, техническая сортировка, поиск, корзина, личный кабинет, CSS и JavaScript. Проверяйте полный URL, а не название папки в административном разделе. Установленные решения и собственная маршрутизация меняют адреса.
Какие правила опасно копировать без проверки
| Группа URL | Что выяснить | Как принять решение |
|---|---|---|
| Каталог и товары | Какие страницы должны находить покупатели | Не закрывать весь каталог из-за нескольких технических дублей |
| Фильтры и параметры | Есть ли самостоятельные посадочные и ссылки на них | Отделить полезные выборки от сортировки и бесконечных комбинаций |
| Поиск, корзина, кабинет | Фактические адреса и способ ограничения доступа | Определить правила обхода; персональные данные защитить авторизацией |
| Ресурсы внутри /bitrix/ | Какие CSS, JS и изображения нужны странице | Не перекрывать необходимые файлы общим запретом без исключений |
Google описывает robots.txt как управление обходом. Запрет не заменяет авторизацию и сам по себе не гарантирует исчезновение известного URL из поиска. Если нужно передать noindex, робот должен иметь возможность получить страницу и прочитать директиву. Для закрытого стенда используйте ограничение доступа.
Учебный пример: запрет затронул нужный фильтр
Условный магазин продвигает /catalog/nasosy/filter/material-is-stal/apply/, а старый файл запрещает любой путь с /filter/. Посадочная есть в меню и карте сайта, но подходящий робот не может её обойти. Ссылка в sitemap не отменяет запрет.
- Зафиксируйте конкретный URL и группу User-agent, которая к нему применяется.
- Проверьте правило в анализаторе robots.txt для URL. Результат относится к выбранному роботу.
- Уточните границы запрета либо исключение для полезной выборки. Не открывайте автоматически все сочетания фильтра.
- Перепроверьте категорию, нужную посадочную и несколько технических комбинаций.
- Проверьте ответ страницы, canonical, метаданные и внутренние ссылки отдельно от robots.txt.
Это учебная ситуация, не результат аудита конкретного магазина. На вашем сайте путь и правила могут отличаться. Принцип отбора страниц разобран в статье о SEO-фильтрах.
Как связать правила с картой сайта
В Sitemap: указывают полный адрес действующей карты. В Битрикс ссылка может добавляться при генерации через соответствующую настройку; порядок описан в документации генератора. Проверьте сам индекс и вложенные файлы, а не только строку в robots.txt.
Не включайте в карту URL, которые уже решили исключить, и не подменяйте реальную дату изменения ежедневной датой запуска генератора. Ошибки обновления разобраны в отдельной инструкции по sitemap.
Типичные ошибки
- Оставить
Disallow: /после запуска со стенда. - Проверить только группу
*, пропустив отдельные правила Googlebot или Yandex. - Закрыть нужные файлы оформления вместе со служебным каталогом.
- Считать запрет обхода способом защиты выгрузок с клиентскими данными.
- Изменить файл, не проверив выдачу через CDN или кеш.
Частые вопросы
Можно взять стандартный robots.txt Битрикс?
Его можно использовать как исходный список для проверки. Затем нужно учесть установленное решение, маршруты, полезные фильтры, поддомены и внешние ресурсы. Готовность подтверждает набор контрольных URL, а не сходство с примером.
Достаточно разрешить страницу в robots.txt?
Нет. У страницы могут остаться noindex, неудачный canonical, ошибки ответа или отсутствующие ссылки. Разрешение обхода снимает одно ограничение; остальные причины проверяют отдельно.
Что передать специалисту?
Действующий файл, основной домен, спорные URL и желаемый результат для каждой группы. Начать можно с бесплатной проверки; затем составить задачу на исправление и контроль индексации.
