Robots.txt Generator
Die ersten drei ersetzen Ihre Gruppen. Die KI-Schaltfläche fügt eine Gruppe mit häufig veröffentlichten KI-Crawler-Namen hinzu und behält den Rest; die Liste ändert sich mit der Zeit, prüfen Sie sie gelegentlich.
Vorhandene robots.txt importieren
* steht für alle Crawler. Mehrere Namen mit Komma trennen, um ihnen dieselben Regeln zu geben.
Pfade beginnen mit / und unterscheiden Groß- und Kleinschreibung. * steht für beliebige Zeichen, $ für das URL-Ende – /*.pdf$ sperrt also jedes PDF. Crawl-delay (Sekunden zwischen Abrufen) ignoriert Google; manche andere Suchmaschinen beachten es.
Keine Probleme gefunden.
Als robots.txt ins Stammverzeichnis des Hosts hochladen, z. B. https://example.com/robots.txt. Jede Subdomain braucht eine eigene Datei.
URL testen
Prüft die robots.txt oben so, wie Google sie liest. Eine Gruppe mit dem exakten Crawler-Namen schlägt User-agent: *, gleichnamige Gruppen werden zusammengeführt, und ein Crawler ohne eigene Gruppe fällt auf * zurück, nicht auf einen verwandten Namen (Googlebot-Image nutzt keine Googlebot-Gruppe). In der Gruppe entscheidet die längste passende Regel, bei Gleichstand gewinnt Allow. Von einer vollständigen URL zählen nur Pfad und Query.
robots.txt ist eine öffentliche Bitte, kein Schloss. Jeder kann sie lesen, und unseriöse Bots ignorieren sie – tragen Sie dort also nie geheime Pfade ein. Sie entfernt auch keine Seiten aus den Suchergebnissen: Eine gesperrte URL kann über Links trotzdem indexiert werden. Um eine Seite aus der Suche herauszuhalten, nutzen Sie noindex und lassen die Seite crawlbar; zum Schutz braucht es ein Passwort.
So funktioniert robots.txt
Bevor sie eine Website crawlen, laden seriöse Bots /robots.txt und suchen die Gruppe mit ihrem Namen, ersatzweise User-agent: *. Darin nennt Disallow die Pfade, die übersprungen werden sollen, und Allow schneidet Ausnahmen heraus. Die Datei steuert das Crawlen, nicht die Indexierung, und wirkt nur bei Bots, die sich daran halten.
So geht’s
- 1 Vorlage wählen oder das Beispiel bearbeiten: eine Gruppe pro Crawler (oder * für alle) mit Disallow- und Allow-Zeilen.
- 2 Sitemap-Adresse eintragen und die Prüfung lesen: Ein Pfad ohne führenden Schrägstrich oder eine Sitemap ohne https:// wird sofort markiert.
- 3 Text kopieren oder robots.txt herunterladen und ins Stammverzeichnis hochladen; danach ihreseite/robots.txt öffnen und prüfen, ob sie lädt.
Welche Regel gewinnt
Große Suchmaschinen lesen die Regeln nicht von oben nach unten. Für jede URL zählt der spezifischste Treffer, also der längste Pfad; sind Allow und Disallow gleich lang, gewinnt Allow. Disallow: /admin/ mit Allow: /admin/help/ lässt die Hilfeseiten daher unabhängig von der Reihenfolge crawlbar. Außerdem folgt ein Crawler nur einer Gruppe: Gibt es eine Googlebot-Gruppe, ignoriert Googlebot die *-Gruppe vollständig.
Sperren ist nicht dasselbe wie noindex
Eine per robots.txt gesperrte URL kann trotzdem in den Suchergebnissen auftauchen – meist als nackter Link ohne Beschreibung, weil andere Seiten darauf verlinken. Schlimmer: Setzen Sie noindex und sperren die Seite zusätzlich, ruft der Crawler sie nie ab und sieht das noindex nie. Zum Entfernen aus der Suche das Crawlen erlauben und noindex nutzen; sperren erst, wenn die Seite verschwunden ist.
Fehler, die mehr sperren als gewollt
Regeln sind Präfixe: Disallow: /blog sperrt auch /blog-tips/ und /blogger.html – für den Ordner /blog/ schreiben. Disallow: / allein sperrt die ganze Website, ein Klassiker vom Staging-Server. Gesperrte CSS- und JavaScript-Ordner verhindern, dass Suchmaschinen Seiten richtig rendern. Und Pfade unterscheiden Groß- und Kleinschreibung: /Admin/ deckt /admin/ nicht ab. Wie eine bestimmte URL behandelt wird, zeigt das Testfeld unter der Ausgabe: Es nennt die entscheidende Gruppe und Regel.
KI-Crawler und Steuer-Token
Mehrere KI-Unternehmen veröffentlichen die User-agent-Namen, mit denen sie Trainingsdaten sammeln, und nennen robots.txt als Weg zum Widerspruch. Manche Namen sind keine eigenen Crawler, sondern Steuer-Token: Google-Extended und Applebot-Extended rufen selbst keine Seiten ab, sie legen nur fest, ob Inhalte, die der Such-Crawler ohnehin erfasst, zum Training der KI-Modelle genutzt werden dürfen (bei Google auch als Quelle für Gemini-Antworten). Das Sperren wirkt sich nicht auf das Ranking aus, hält Ihre Seiten aber auch nicht aus den KI-Funktionen der Suche heraus: Googles AI Overviews und AI Mode laufen über den Googlebot und werden mit nosnippet oder noindex gesteuert, nicht mit Google-Extended. Namen ändern sich und neue kommen hinzu – die Vorlage ist ein Ausgangspunkt, maßgeblich ist die aktuelle Dokumentation der Anbieter.