-
Параметр
Что именно он меняет
-
Назначение
Дубль или отдельная посадочная
-
Правило
Обход, индексирование или объединение
-
Контроль
Проверка нужных и технических URL
Выбор между Clean-param, canonical и Disallow зависит от того, что делает параметр. Если он только помечает источник перехода, перед вами вариант той же страницы. Если выбирает товар, язык или следующую часть каталога, содержание меняется. Одно общее правило для всех URL со знаком вопроса способно закрыть нужные страницы.
Сначала классификация, потом правило: соберите примеры адресов, откройте каждый с параметром и без него, сравните ассортимент и назначение. Только после этого решайте, что объединять, что исключать из поиска, а что оставить самостоятельной посадочной.
Что выбрать для каждого типа параметров
| Тип URL | Рабочее решение | Чего не делать |
|---|---|---|
| Метка перехода без изменения содержания | Чистые внутренние ссылки, согласованный canonical; Clean-param для нужного параметра в Яндексе. | Не удалять данные атрибуции до их сохранения аналитикой. |
| Сортировка того же набора товаров | Проверить стратегию дублей и обхода; учитывать, не меняется ли состав страницы из-за пагинации. | Не считать любую сортировку побайтовым дублем. |
| Фильтр с отдельным спросом | Самостоятельная посадочная с нужным ассортиментом и понятными ссылками. | Не склеивать её с общей категорией автоматически. |
| Бесконечные сочетания фильтров без спроса | Ограничить генерацию и обход ненужных комбинаций по согласованной схеме. | Не создавать индексируемую страницу для каждого сочетания. |
| Страница каталога page=2 | Сохранить доступ к следующей части списка и проверить её собственные сигналы. | Не объявлять page незначащим, если меняются товары. |
| Внутренний поиск | Обычно исключить результаты из индекса и отдельно контролировать обход. | Не принимать Disallow за универсальную команду удаления из Google. |
Для фильтров решение подробнее разбирается в материале какие страницы фильтра открывать в Битриксе и Аспро. Технические варианты ограничения перебора сочетаний описаны в документации Google о фасетной навигации.
Clean-param: убрать незначащий параметр для Яндекса
Clean-param сообщает Яндексу, какие параметры не меняют содержание. Google эту директиву не использует. Учебный URL /catalog/pump/?ref=partner показывает ту же карточку, что /catalog/pump/. Для параметра ref только в каталоге подходит такое правило:
Clean-param: ref /catalog/Это строка для существующего robots.txt, не замена всего файла. Путь задаёт область действия, несколько имён параметров соединяются знаком &. Регистр важен. Не добавляйте в список product_id или page, если они выбирают другое содержимое.
Яндекс может автоматически игнорировать распознанные незначащие метки, в том числе UTM. Проверьте причину исключения, прежде чем добавлять дублирующие настройки. Синтаксис и совместимость правил приведены в справке Clean-param.
Canonical: указать предпочтительную версию
Для доступного дубля карточки в HTML можно указать основной адрес:
<link rel="canonical"
href="https://example.com/catalog/pump/">Этот пример использует учебный домен. На реальном сайте проверьте целевой адрес, код 200 и совпадение содержания. Не направляйте canonical карточки на общую категорию только потому, что категория важнее для бизнеса.
Поддержите предпочтительный URL внутренними ссылками и Sitemap. Сам canonical — сигнал, а не гарантия выбора. Если закрыть дубль от обхода, Google не прочитает его тег. Эти ограничения и сочетание сигналов описаны в руководстве Google по канонизации.
Disallow и noindex решают разные задачи
Disallow запрещает обход подходящих URL. Noindex исключает доступный роботу документ из индекса. Если страница уже находится в Google, запрет обхода сам по себе не гарантирует её исчезновение. Для обработки noindex робот должен получить страницу.
Учебное правило Disallow: /private-search/ может ограничивать обход отдельного технического маршрута. А правило Disallow: /*? охватывает любые адреса с параметрами: вместе с сортировкой под него могут попасть полезные подборки и карточки. Сначала проверьте положительные и отрицательные примеры.
В проверке robots.txt для URL сопоставьте хотя бы основной каталог, выбранный фильтр, сортировку, вторую страницу списка и карточку товара. Инструмент помогает проверить правила обхода; решение Яндекса о Clean-param дополнительно смотрите в Вебмастере. План удаления уже опубликованных адресов описан в отдельной инструкции.
Как внедрять изменения без потери полезных страниц
- Соберите таблицу: параметр, пример URL, меняет ли контент, нужен ли отдельный результат поиска.
- Уточните спорные случаи с владельцем каталога. Размер, исполнение или совместимость могут иметь отдельную ценность для покупателя.
- Проверьте выбранное правило на разрешённых и запрещаемых адресах до выпуска.
- После выпуска повторите HTTP- и HTML-проверки, посмотрите canonical и доступность ссылок.
- После обхода сравните причины исключения и выбранные основные URL в поисковых панелях.
Приёмка состоит из двух частей. Разработчик подтверждает фактические ответы и правила. SEO-специалист проверяет, как поисковик обработал изменения и сохранились ли нужные посадочные. Получение правильного файла robots.txt не подтверждает окончательную обработку всей группы URL.
Частые вопросы
Нужен ли одновременно Disallow для каждого Clean-param?
Нет. В Яндексе запрет Disallow имеет приоритет; сочетать их автоматически не нужно. Если задача только в объединении вариантов с незначащей меткой, лишний запрет меняет смысл настройки.
Можно ли перенаправить все параметрические адреса на чистые?
Только если параметры действительно не нужны для работы страницы и пользовательского сценария. Иначе исчезнут фильтры, выбранные варианты или атрибуция. Редирект должен сохранять назначение перехода, а не просто делать адрес короче.
Почему параметрический URL всё ещё встречается в отчёте?
Отчёт может хранить ранее обнаруженные адреса. Смотрите статус, дату последнего обхода и текущий ответ, а не само наличие строки. Подробно о частях адреса — в словаре GET-параметров.
