←  Alle Begriffe
R
SEO & AEO

robots.txt

Die Datei robots.txt gibt Crawlern Regeln dafür, welche Bereiche einer Website sie abrufen dürfen.

Die robots.txt steuert, welche Bereiche einer Website von Suchmaschinen-Crawlern aufgerufen werden sollen oder ausgeschlossen sind. Sie kann das Crawling gezielt lenken, verhindert jedoch nicht automatisch die Indexierung bereits bekannter URLs. Für eine saubere technische SEO sollte sie deshalb mit einer klaren Seitenstruktur, korrekten Indexierungsregeln und einer gepflegten sitemap.xml zusammenspielen. Eng verbunden ist der Begriff mit Crawling und sitemap.xml.

Weiterlesen

Crawling

sitemap.xml

AI Crawler

Indexierung

FAQ

robots.txt

Wie spielen robots.txt und sitemap.xml zusammen?
Die robots.txt kann per Sitemap-Eintrag auf die sitemap.xml verweisen und erleichtert so das Auffinden. Beide Dateien sollten sich nicht widersprechen: Sitemap-URLs, die per Disallow gesperrt sind, senden gegensätzliche Signale. Die Sitemap listet gewünschte Seiten, die robots.txt begrenzt den Abruf. Regelmäßige Abgleiche vermeiden Widersprüche.
Lassen sich KI-Crawler über die robots.txt aussperren?
Teilweise. Viele Anbieter dokumentieren eigene User-Agents, die sich per Disallow ansprechen lassen. Die Datei ist jedoch eine Bitte, keine technische Sperre; die Einhaltung ist freiwillig. Für verbindlichen Schutz sind serverseitige Maßnahmen nötig. Zudem muss abgewogen werden, ob Sichtbarkeit in KI-Antworten erwünscht ist.
Welche typischen Fehler gibt es bei der robots.txt?
Der folgenschwerste Fehler ist ein versehentliches Disallow für die gesamte Website, oft nach Übernahme aus einer Staging-Umgebung. Dazu kommen gesperrte CSS- und JavaScript-Dateien, die das Rendering behindern, und die Annahme, die Datei schütze vertrauliche Inhalte. Die Datei ist öffentlich lesbar und kein Zugriffsschutz.
Wo muss die robots.txt liegen?
Die Datei liegt im Root-Verzeichnis der Domain, etwa unter /robots.txt, und gilt nur für genau diesen Host samt Protokoll. Subdomains brauchen eine eigene Datei. Eine Ablage in Unterordnern wird von Crawlern nicht ausgewertet. Ein Aufruf von /robots.txt im Browser zeigt, welche Regeln aktuell ausgeliefert werden.
Verhindert die robots.txt, dass Seiten im Suchindex erscheinen?
Nein. Die robots.txt regelt nur das Crawling, nicht die Indexierung. Eine gesperrte URL kann ohne Inhalt trotzdem im Index auftauchen, wenn andere Seiten darauf verlinken. Für den Ausschluss dient ein noindex-Hinweis, der jedoch nur greift, wenn die Seite crawlbar bleibt.