Robots.txt Generator - Allow-, Disallow- und Sitemap-Regeln erstellen

Tools / SEO-Tools / Robots.txt Generator

Robots.txt Generator

Vorlage

Die ersten drei ersetzen Ihre Gruppen. Die KI-Schaltfläche fügt eine Gruppe mit häufig veröffentlichten KI-Crawler-Namen hinzu und behält den Rest; die Liste ändert sich mit der Zeit, prüfen Sie sie gelegentlich.

Vorhandene robots.txt importieren

Pfade beginnen mit / und unterscheiden Groß- und Kleinschreibung. * steht für beliebige Zeichen, $ für das URL-Ende – /*.pdf$ sperrt also jedes PDF. Crawl-delay (Sekunden zwischen Abrufen) ignoriert Google; manche andere Suchmaschinen beachten es.

Prüfung

Keine Probleme gefunden.

robots.txt

            

Als robots.txt ins Stammverzeichnis des Hosts hochladen, z. B. https://example.com/robots.txt. Jede Subdomain braucht eine eigene Datei.

URL testen

    Prüft die robots.txt oben so, wie Google sie liest. Eine Gruppe mit dem exakten Crawler-Namen schlägt User-agent: *, gleichnamige Gruppen werden zusammengeführt, und ein Crawler ohne eigene Gruppe fällt auf * zurück, nicht auf einen verwandten Namen (Googlebot-Image nutzt keine Googlebot-Gruppe). In der Gruppe entscheidet die längste passende Regel, bei Gleichstand gewinnt Allow. Von einer vollständigen URL zählen nur Pfad und Query.

    robots.txt ist eine öffentliche Bitte, kein Schloss. Jeder kann sie lesen, und unseriöse Bots ignorieren sie – tragen Sie dort also nie geheime Pfade ein. Sie entfernt auch keine Seiten aus den Suchergebnissen: Eine gesperrte URL kann über Links trotzdem indexiert werden. Um eine Seite aus der Suche herauszuhalten, nutzen Sie noindex und lassen die Seite crawlbar; zum Schutz braucht es ein Passwort.

    So funktioniert robots.txt

    Bevor sie eine Website crawlen, laden seriöse Bots /robots.txt und suchen die Gruppe mit ihrem Namen, ersatzweise User-agent: *. Darin nennt Disallow die Pfade, die übersprungen werden sollen, und Allow schneidet Ausnahmen heraus. Die Datei steuert das Crawlen, nicht die Indexierung, und wirkt nur bei Bots, die sich daran halten.

    So geht’s

    1. 1 Vorlage wählen oder das Beispiel bearbeiten: eine Gruppe pro Crawler (oder * für alle) mit Disallow- und Allow-Zeilen.
    2. 2 Sitemap-Adresse eintragen und die Prüfung lesen: Ein Pfad ohne führenden Schrägstrich oder eine Sitemap ohne https:// wird sofort markiert.
    3. 3 Text kopieren oder robots.txt herunterladen und ins Stammverzeichnis hochladen; danach ihreseite/robots.txt öffnen und prüfen, ob sie lädt.

    Welche Regel gewinnt

    Große Suchmaschinen lesen die Regeln nicht von oben nach unten. Für jede URL zählt der spezifischste Treffer, also der längste Pfad; sind Allow und Disallow gleich lang, gewinnt Allow. Disallow: /admin/ mit Allow: /admin/help/ lässt die Hilfeseiten daher unabhängig von der Reihenfolge crawlbar. Außerdem folgt ein Crawler nur einer Gruppe: Gibt es eine Googlebot-Gruppe, ignoriert Googlebot die *-Gruppe vollständig.

    Sperren ist nicht dasselbe wie noindex

    Eine per robots.txt gesperrte URL kann trotzdem in den Suchergebnissen auftauchen – meist als nackter Link ohne Beschreibung, weil andere Seiten darauf verlinken. Schlimmer: Setzen Sie noindex und sperren die Seite zusätzlich, ruft der Crawler sie nie ab und sieht das noindex nie. Zum Entfernen aus der Suche das Crawlen erlauben und noindex nutzen; sperren erst, wenn die Seite verschwunden ist.

    Meta-Tag-Generator →

    Fehler, die mehr sperren als gewollt

    Regeln sind Präfixe: Disallow: /blog sperrt auch /blog-tips/ und /blogger.html – für den Ordner /blog/ schreiben. Disallow: / allein sperrt die ganze Website, ein Klassiker vom Staging-Server. Gesperrte CSS- und JavaScript-Ordner verhindern, dass Suchmaschinen Seiten richtig rendern. Und Pfade unterscheiden Groß- und Kleinschreibung: /Admin/ deckt /admin/ nicht ab. Wie eine bestimmte URL behandelt wird, zeigt das Testfeld unter der Ausgabe: Es nennt die entscheidende Gruppe und Regel.

    KI-Crawler und Steuer-Token

    Mehrere KI-Unternehmen veröffentlichen die User-agent-Namen, mit denen sie Trainingsdaten sammeln, und nennen robots.txt als Weg zum Widerspruch. Manche Namen sind keine eigenen Crawler, sondern Steuer-Token: Google-Extended und Applebot-Extended rufen selbst keine Seiten ab, sie legen nur fest, ob Inhalte, die der Such-Crawler ohnehin erfasst, zum Training der KI-Modelle genutzt werden dürfen (bei Google auch als Quelle für Gemini-Antworten). Das Sperren wirkt sich nicht auf das Ranking aus, hält Ihre Seiten aber auch nicht aus den KI-Funktionen der Suche heraus: Googles AI Overviews und AI Mode laufen über den Googlebot und werden mit nosnippet oder noindex gesteuert, nicht mit Google-Extended. Namen ändern sich und neue kommen hinzu – die Vorlage ist ein Ausgangspunkt, maßgeblich ist die aktuelle Dokumentation der Anbieter.

    Fragen zu robots.txt

    Nein, es stoppt nur das Crawlen. Verlinken andere Websites die URL, kann sie ohne Beschreibung im Index bleiben. Zum Entfernen die Seite mit noindex-Meta-Tag oder X-Robots-Tag-Header crawlen lassen, löschen oder hinter einen Login legen.
    Neu
    UTM-Builder Kampagnen-Links mit UTM-Parametern in Sekunden erstellen. Behält vorhandene Parameter und #Anker, kodiert Werte korrekt und warnt vor Großbuchstaben und Leerzeichen.
    Heute Beliebt
    Keyword-Dichte-Prüfer Kostenloser Keyword-Dichte-Checker: Text oder URL einfügen und sehen, wie oft jedes Wort und jede Wortgruppe vorkommt - mit Prozentwerten.

    Weitere SEO-Werkzeuge

    Keyword-Dichte-Prüfer Kostenloser Keyword-Dichte-Checker: Text oder URL einfügen und sehen, wie oft jedes Wort und jede Wortgruppe vorkommt - mit Prozentwerten.
    Slug-Generator Verwandeln Sie jede Überschrift in einen sauberen URL-Slug: deutsches ü wird ue, türkisches ü wird u, Kyrillisch wird transliteriert. Sie wählen die Sprache.
    Meta-Tag-Generator Gib Titel, Beschreibung, URL und Bild ein, um HTML-Meta-Tags, Open-Graph- und Twitter-Card-Markup zu erzeugen, und sieh vor dem Veröffentlichen, wie die Seite in Google-Ergebnissen, auf Facebook und auf X aussehen wird.
    SERP Snippet Vorschau Sehen Sie, wie Title und Meta Description in den Suchergebnissen auf Desktop und Mobil aussehen – mit Kürzung nach Pixeln, Zeichen- und Pixelzähler.
    UTM-Builder Kampagnen-Links mit UTM-Parametern in Sekunden erstellen. Behält vorhandene Parameter und #Anker, kodiert Werte korrekt und warnt vor Großbuchstaben und Leerzeichen.

    Weitere Tools, die Ihnen gefallen könnten

    Word in PDF Word kostenlos in PDF umwandeln: DOC-, DOCX-, ODT- oder RTF-Datei hochladen und in Sekunden ein sauber formatiertes PDF herunterladen.
    PDF in Word PDF kostenlos in Word umwandeln: PDF hochladen und in Sekunden eine bearbeitbare DOCX herunterladen - ohne Anmeldung und ohne Wasserzeichen.
    MD5 Hash Generator Kostenloser MD5-Generator: Text oder Datei direkt im Browser in eine MD5-Prüfsumme umwandeln - praktisch für Integritätsprüfungen.
    Base64 Encoder & Decoder Kostenloser Base64-Encoder und -Decoder: Text oder Dateien in Base64 umwandeln und zurück - komplett im Browser, ohne Upload.
    Wortzähler Kostenloser Wortzähler: Text einfügen und Wörter, Zeichen, Sätze und Absätze zählen lassen - inklusive Lesedauer, ganz ohne Upload.