robots.txt: Aufbau, Regeln und Beispiele der Steuerdatei
7 Min. LesezeitStand: 13. Oktober 2026Geprüft von Engin Buldak
Definition in 40 Wörtern
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen. Sie steuert ausschließlich das Crawling und wirkt als Empfehlung: Seriöse Bots halten sich daran, verpflichtet sind sie nicht.
Engin Buldak
Geschäftsführer der DTILE GmbH, Autor des SEO-Lexikons
15 Minuten • Persönlich • Unverbindlich
5,0 aus 50+ Google-Rezensionen
Was ist die robots.txt?
Die robots.txt ist die erste Datei, die ein [Crawler](/lexikon/crawler/) beim Besuch einer Website abruft. Sie liegt immer im Hauptverzeichnis, also unter deine-domain.de/robots.txt, und legt fest, welche Bereiche der Website gecrawlt werden dürfen und welche nicht.
Technisch basiert sie auf dem Robots Exclusion Protocol, das seit 2022 als offizieller Internet-Standard (RFC 9309) festgeschrieben ist. Jede Domain und jede Subdomain braucht ihre eigene robots.txt.
Die wichtigste Eigenschaft zum Verständnis: Die robots.txt funktioniert wie eine Hausordnung ohne Türschloss. Google, Bing und die großen KI-Anbieter halten sich daran, aggressive Scraper ignorieren sie. Und sie regelt nur das Crawling: Ob eine Seite im Google-Index landet, ist eine separate Entscheidung.
Wie ist eine robots.txt aufgebaut? Mit Beispiel
Eine robots.txt besteht aus Regelgruppen: Jede Gruppe beginnt mit User-agent (für wen die Regeln gelten), gefolgt von Disallow (verboten) und Allow (erlaubt). Dazu kommt die Sitemap-Zeile als Wegweiser zur [XML-Sitemap](/lexikon/sitemap/). Mehr braucht eine saubere Datei nicht.
So sieht ein bewährtes robots.txt-Beispiel für eine WordPress-Website aus:
# robots.txt Beispiel WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://deine-domain.de/sitemap_index.xmlDer Stern bei User-agent bedeutet: Diese Regeln gelten für alle Crawler. Bei widersprüchlichen Regeln gewinnt die spezifischere (längere) Regel, bei Gleichstand die Erlaubnis. Die Direktive Crawl-delay ignoriert Google übrigens komplett.
Welche Regeln brauchst du für KI-Crawler?
2026 entscheidet die robots.txt auch über deine Sichtbarkeit in KI-Antworten. Die Kernregel: Such-Crawler wie OAI-SearchBot und PerplexityBot immer erlauben, denn sie holen Inhalte für konkrete Kundenfragen. Nur reine Trainings-Crawler lassen sich separat steuern, ohne Sichtbarkeit zu verlieren.
KI-Anbieter trennen ihre Crawler sauber nach Zweck. Wer möchte, kann das Modelltraining einschränken und trotzdem in den KI-Suchergebnissen auftauchen:
# KI-Suche erlauben (empfohlen)
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Nur Modelltraining einschränken (optional)
User-agent: GPTBot
Disallow: /Wichtig zur Einordnung: Google-Extended steuert ausschließlich das Gemini-Training, die Google-Suche und die AI Overviews bleiben davon unberührt. Und wer alle KI-Crawler pauschal sperrt, existiert für ChatGPT, Perplexity und Co. schlicht nicht. Die Empfehlung der DTILE GmbH für Unternehmen ist deshalb klar: Such-Crawler offen lassen, das ist die Eintrittskarte in die Generative Engine Optimization (GEO).
Kostenfrei von der DTILE GmbH
Sperrt deine robots.txt heimlich Sichtbarkeit aus?
Die Potenzialanalyse der DTILE GmbH prüft mit echten Daten, ob Google und KI-Systeme deine Website vollständig lesen können und welches Potenzial dahinter wartet.
Welche Fehler machen die robots.txt gefährlich?
Die robots.txt ist die kleinste Datei mit der größten Zerstörungskraft im SEO: Eine einzige falsche Zeile kann die komplette Website aus Suche und KI-Antworten nehmen. 5 Fehler tauchen in der Praxis immer wieder auf.
Die Vollsperre: Disallow: /
Meist ein Überbleibsel aus der Entwicklungsphase. Die Zeile sperrt die gesamte Website für alle Crawler und überlebt Relaunches erschreckend oft unbemerkt.
CSS und JavaScript blockieren
Google rendert Seiten wie ein Browser. Sind Design- und Skript-Dateien gesperrt, sieht der Googlebot eine kaputte Seite und bewertet sie entsprechend.
robots.txt als noindex missbrauchen
Eine gesperrte URL kann über externe Links trotzdem im Index landen, dann ohne Inhalt. Schlimmer noch: Ein noindex auf der Seite wird nie gelesen, wenn das Crawling gesperrt ist.
CDN oder Server liefert eine andere Datei aus
Firewalls, CDNs und physische Dateien auf dem Server können die Version deines SEO-Plugins überschreiben. Was im WordPress-Backend steht, ist dann womöglich etwas anderes als das, was Crawler sehen.
Pfad-Fehler
Die robots.txt unterscheidet Groß- und Kleinschreibung. /Blog/ und /blog/ sind 2 verschiedene Pfade, ein Tippfehler sperrt schnell das Falsche oder gar nichts.
Wie teuer die Kombination aus Fehler 1 und 4 ist, weiß die DTILE GmbH aus eigener Erfahrung: Auf der eigenen Website steckte eine Staging-Vollsperre in einer physischen Datei, während das CDN zusätzlich eine eigene Version mit KI-Crawler-Blockaden auslieferte. Google rankte nur dank einer Konfliktregel weiter, alle anderen Crawler lasen monatelang die Vollsperre. Erst der direkte Abruf der Live-Datei deckte das auf.
Wie prüfst und testest du deine robots.txt?
Rufe die Datei direkt im Browser unter deine-domain.de/robots.txt auf, denn nur diese Live-Version zählt. Den Rest übernimmt die [Google Search Console](/google-search-console/): Der robots.txt-Bericht in den Einstellungen zeigt die zuletzt gelesene Version, die URL-Prüfung testet einzelne Seiten.
- 1
Live-Abruf
deine-domain.de/robots.txt im Browser öffnen, am besten im Inkognito-Modus. Steht dort etwas anderes als in deinem SEO-Plugin, liefert Server oder CDN eine eigene Version aus.
- 2
Search Console
Unter Einstellungen zeigt der robots.txt-Bericht, welche Version Google zuletzt gelesen hat und ob Fehler auftraten.
- 3
Einzelne URLs testen
Die URL-Prüfung der Search Console verrät pro Seite, ob das Crawling erlaubt ist.
- 4
Nach Änderungen Geduld
Crawler speichern die robots.txt bis zu 24 Stunden zwischen. In WordPress gilt zudem: Physische Dateien auf dem Server haben Vorrang vor der virtuellen Version von Rank Math oder Yoast.
Häufige Fragen zu robots.txt
Verwandte Begriffe
Direkter Draht
Unser Hauptquartier in Hamburg
Im Herzen von Uhlenhorst. Komm vorbei, ruf an oder schreib uns, wir freuen uns auf dich.
Direkter Draht
Lieber persönlich? Schreib oder ruf an.
Wir antworten meist innerhalb weniger Stunden. Unverbindlich & kostenlos.
Vollständig sichtbar: in Google, Google Maps und KI-Suchmaschinen
Local SEO, SEO und GEO aus einer Hand. Start mit der kostenlosen Potenzialanalyse.
Wir glauben, dass gefunden werden sollte, wer die beste Arbeit macht. Nicht, wer das größte Werbebudget hat.
Google Partner · Stormsweg 5A, 22085 Hamburg · 5,0 aus 50+ Google-Rezensionen · flexible Laufzeit ab 6 Monaten, danach monatlich kündbar
Geschäftsführer DTILE GmbH · Local SEO & GEO Experte
Über 3.500* Unternehmen in 20 Jahren geholfen, inhabergeführt aus Hamburg-Uhlenhorst. Sein Ansatz verbindet lokale Sichtbarkeit in allen relevanten Karten-Welten mit Zitierungen in KI-Antwortsystemen, von Google und Apple Maps bis zu Siri, ChatGPT und Copilot. Fachbeiträge erscheinen in seiner LinkedIn-Serie SIP, Search in Public.
Wir glauben, dass gefunden werden sollte, wer die beste Arbeit macht. Nicht, wer das größte Werbebudget hat.
* Gezählt sind alle Unternehmen, denen wir geholfen haben, auch mit einer kostenlosen Potenzialanalyse oder Beratung: über 3.500 in über 20 Jahren Marketing-Praxis von Engin Buldak.