Utilore

robots.txt-Generator und -Tester

Zwei Dinge auf einer Seite: die Datei aus Regeln bauen und die vorhandene prüfen. Die Antwort sagt nicht nur «erlaubt» oder «gesperrt», sondern auch, welche Zeile entschieden hat.

Vorlage

Google ignoriert Crawl-delay; Yandex und Bing lesen es weiterhin.

So geht es

  1. Vorlage wählen oder die zu sperrenden Pfade auflisten, einen pro Zeile.
  2. Ausnahmen unter Allow und die Adresse Ihrer Sitemap ergänzen.
  3. Ergebnis kopieren oder herunterladen und in das Stammverzeichnis legen.
  4. Zu Prüfen wechseln, die eigene Datei einfügen und eine Adresse für einen Crawler testen.

Gut zu wissen

Es gewinnt die längste Regel, nicht die erste

Google wie Yandex wählen die Regel nach der Länge des passenden Pfads, nicht nach der Reihenfolge in der Datei. Deshalb funktioniert das übliche Paar «Disallow: /wp-admin/» und «Allow: /wp-admin/admin-ajax.php»: Der zweite Pfad ist länger und gewinnt für genau diese Datei, während der Rest des Ordners gesperrt bleibt. Ein Prüfer, der die Datei von oben nach unten liest, käme zum gegenteiligen Ergebnis.

Eine Regel über dem ersten User-agent gehört niemandem

Ein Disallow vor jeder User-agent-Zeile wird von allen Crawlern ignoriert: Die Datei wird in Gruppen gelesen, und eine Regel außerhalb einer Gruppe hat keinen Besitzer. Sie sieht völlig richtig aus und sperrt nichts — der teuerste Fehler in robots.txt. Der Prüfer meldet ihn getrennt, mit Zeilennummer.

Häufige Fragen

Nimmt robots.txt eine Seite aus der Suche?

Nein — sie stoppt nur das Crawlen. Eine gesperrte Adresse kann weiterhin ohne Beschreibung in den Ergebnissen auftauchen, wenn andere Seiten darauf verlinken. Damit eine Seite aus dem Index bleibt, lassen Sie sie für den Crawler offen und setzen ein noindex-Meta-Tag: Der Robot muss die Seite laden, um dieses Tag zu sehen.

Wohin gehört die Datei?

Nur ins Stammverzeichnis der Domain: https://example.com/robots.txt. Eine Datei in einem Unterordner wird gar nicht gelesen, und eine Subdomain braucht ihre eigene — für shop.example.com gilt die Datei von example.com nicht.

Wie sperre ich KI-Crawler aus?

Fügen Sie pro Bot eine Gruppe hinzu: GPTBot, ClaudeBot, PerplexityBot und CCBot stehen hier in der Liste. Sie halten sich an robots.txt, aber das Verbot gilt je Name — eine Sternchen-Gruppe erfasst sie nicht, wenn sie in der Datei zusätzlich eine eigene Gruppe haben.

Lohnt sich Crawl-delay?

Google ignoriert es vollständig; Yandex und Bing lesen es noch. Setzen Sie es nur, wenn der Server unter der Crawl-Last wirklich leidet — sonst verzögert es bloß, wie schnell neue Seiten gefunden werden.

Ähnliche Tools