Das Crawl-Budget bezeichnet die Anzahl der Seiten, die der Googlebot innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlt. Für kleine Websites ist es kein Thema, für große Websites mit Tausenden von Seiten wird es wichtig.
Was bestimmt das Crawl-Budget?
- Crawling-Ratenlimit: Google begrenzt selbst, wie schnell es crawlt, um Ihren Server nicht zu überlasten. Leistungsstärkere Server werden schneller gecrawlt.
- Crawling-Bedarf: Wie beliebt und wertvoll Ihre Seiten sind. Seiten mit hoher Autorität und vielen Links werden häufiger gecrawlt.
So optimieren Sie das Crawl-Budget
- URLs mit geringem Wert sperren per robots.txt: Facettennavigation, Session-ID-Parameter, Druckversionen usw.
- Crawling-Fehler beheben: Seiten mit 4xx und 5xx verschwenden Crawl-Budget
- Weiterleitungsketten auflösen: Jeder Weiterleitungsschritt kostet Crawl-Budget
- Paginierte Inhalte bündeln: Verwenden Sie rel=canonical auf paginierten Seiten, wenn die Inhalte nahezu doppelt sind
- Entfernen oder auf noindex setzen: dünne Seiten von geringer Qualität, die Google nicht crawlen sollte
Wo Sie es überwachen
Im Bericht Crawling-Statistiken der Search Console (Einstellungen > Crawling-Statistiken) sehen Sie die Entwicklung der Crawling-Aktivität.