←  Alle Begriffe
C
SEO & AEO

Crawling

Crawling ist der automatisierte Abruf von Webseiten durch Bots, die Links und Inhalte für Such- oder andere Indizes erfassen.

Crawling ist der automatisierte Abruf von Webseiten durch Bots, die Links und Inhalte für Such- oder andere Indizes erfassen. Für nachhaltige Sichtbarkeit zählen klare Informationsarchitektur, hilfreiche Inhalte und technisch zugängliche Seiten; eine einzelne Maßnahme garantiert keine Rankings. Eng verbunden ist der Begriff mit Indexierung und robots.txt.

Weiterlesen

Indexierung

robots.txt

sitemap.xml

FAQ

Crawling

Warum werden manche Seiten beim Crawling nicht erfasst?
Häufige Ursachen sind Sperren in der robots.txt, fehlende interne Links, Fehlercodes, lange Antwortzeiten und Inhalte, die erst per JavaScript geladen werden. Auch Login-Bereiche bleiben unzugänglich. Ein Blick in Server-Logs und Crawl-Berichte zeigt, welche Ursache vorliegt, bevor Inhalte oder Technik verändert werden.
Wann ist das Crawl-Budget beim Crawling einer Website relevant?
Das Crawl-Budget beschreibt, wie viele URLs ein Bot in einem Zeitraum abruft. Für kleine und mittlere Websites ist es selten ein Engpass. Relevant wird es bei sehr großen Seiten, vielen Parameter-URLs oder langsamen Servern, weil neue Inhalte dann verzögert erfasst werden. Aufgeräumte Struktur wirkt stärker als Feinjustierung.
Wie lässt sich Crawling einer Website steuern?
Über robots.txt, interne Verlinkung, XML-Sitemaps, saubere Statuscodes und die Vermeidung endloser URL-Varianten. Die robots.txt regelt den Zugriff, nicht die Indexierung: Gesperrte URLs können trotzdem in Ergebnissen erscheinen, wenn sie verlinkt sind. Für den Ausschluss aus dem Index ist noindex das geeignetere Mittel.
Wie unterscheiden sich Crawling und Indexierung?
Crawling ist der Abruf einer Seite, Indexierung die Entscheidung, sie in den Suchindex aufzunehmen. Eine gecrawlte Seite wird nicht automatisch indexiert, etwa bei dünnem Inhalt, Duplikaten oder noindex. Umgekehrt braucht Indexierung zunächst erfolgreiches Crawling. Die Diagnose muss daher beide Stufen getrennt prüfen.