Utilore

Генератор и проверка robots.txt

Две вещи на одной странице: собрать файл из правил и проверить тот, что уже стоит на сайте. Ответ говорит не просто «разрешён» или «запрещён», а по какой именно строке.

Заготовка

Google не читает Crawl-delay, Яндекс и Bing — читают.

Как пользоваться

  1. Возьмите заготовку или перечислите пути, которые нужно закрыть, — по одному в строке.
  2. Добавьте исключения в Allow и адрес карты сайта.
  3. Скопируйте результат или скачайте файл и положите его в корень сайта.
  4. Перейдите на «Проверить», вставьте свой файл и проверьте адрес для нужного робота.

Полезно знать

Побеждает самое длинное правило, а не первое сверху

И Google, и Яндекс выбирают правило по длине совпавшего пути, а не по порядку в файле. Именно поэтому работает привычная пара «Disallow: /wp-admin/» и «Allow: /wp-admin/admin-ajax.php»: второй путь длиннее, он и выигрывает для этого одного файла, пока остальная папка остаётся закрытой. Проверка, читающая файл сверху вниз, дала бы обратный ответ.

Правило выше первого User-agent не принадлежит никому

Disallow, написанный до любой строки User-agent, игнорируют все роботы: файл читается группами, а правило вне группы не имеет хозяина. Выглядит оно совершенно нормально и не закрывает ничего — это самая дорогая ошибка в robots.txt. Проверка выносит её отдельно и указывает номер строки.

Частые вопросы

Убирает ли robots.txt страницу из поиска?

Нет — он лишь запрещает обход. Закрытый адрес может остаться в выдаче без описания, если на него ссылаются другие сайты. Чтобы страницы не было в индексе, оставьте её открытой роботу и поставьте метатег noindex: чтобы увидеть этот тег, робот обязан страницу загрузить.

Где должен лежать файл?

Только в корне домена: https://example.com/robots.txt. Файл во вложенной папке не читается вовсе, а поддомену нужен свой — для shop.example.com файл с example.com не действует.

Как закрыть сайт от ИИ-роботов?

Добавьте группу на каждого: GPTBot, ClaudeBot, PerplexityBot, CCBot есть в здешнем списке роботов. Они соблюдают robots.txt, но запрет действует по имени — группа со звёздочкой их не покроет, если в файле у них есть ещё и собственная группа.

Стоит ли ставить Crawl-delay?

Google его не читает вовсе, Яндекс и Bing — читают. Ставьте, только если сервер действительно не справляется с обходом: в остальных случаях это лишь замедлит появление новых страниц в поиске.

Похожие инструменты