Проверка robots.txt для URL
Узнайте, какое правило Allow или Disallow применяется к странице для Googlebot или YandexBot.
Все бесплатные инструментыКак работает инструмент
Загружаем robots.txt с того же протокола и хоста. Показываем подходящую группу, совпавшие правила и решающее правило с номером строки.
До 500 КиБ и 18 секунд. Проверка правил не подтверждает индексацию или доступ конкретного робота через защиту сайта.
Что делать дальше
- Разобраться: Закрыть стенд, не основной сайт
- Исправить: Технический SEO-аудит