Crawl-Budget verstehen: Wann es für Ihre Website wirklich zählt – und wann Sie es getrost ignorieren können

Kaum ein SEO-Begriff wird so oft genannt und so selten richtig eingeordnet wie das Crawl-Budget. Für die allermeisten Unternehmenswebsites ist es kein Engpass – und wer an der falschen Stelle optimiert, verschwendet Zeit, die an anderer Stelle mehr bewirken würde.

Dieser Beitrag erklärt, was Google unter dem Crawl-Budget versteht, für welche Websites es laut Google tatsächlich relevant ist, wie Sie das Crawling Ihrer Website messen und welche Maßnahmen wirken. Dabei halten wir uns strikt an das, was Google selbst dokumentiert – und trennen es sauber von verbreiteten Mythen.

Vertiefung: Technical SEO bei YellowFrog · Der Indexing Report der Search Console

Was das Crawl-Budget ist

Das Crawl-Budget ist nach der Definition von Google die Menge an URLs, die Google auf einer Website crawlen kann und crawlen will.

Beide Faktoren lassen sich unterschiedlich beeinflussen. Die Kapazität hängt vor allem an Ihrer technischen Infrastruktur, der Bedarf an Ihren Inhalten und deren Struktur. Laut Google steigt das Kapazitätslimit, wenn Ihre Website eine Zeit lang schnell und stabil antwortet; verlangsamt sie sich oder liefert Serverfehler wie 5xx oder 429, sinkt es, und Google crawlt weniger. Google weist zudem darauf hin, dass auch die eigenen Crawling-Ressourcen zwar umfangreich, aber endlich sind.

Beim Crawlbedarf nennt Google drei Einflussgrößen. Erstens den wahrgenommenen Bestand: Ohne Ihre Steuerung versucht Google, alle oder die meisten bekannten URLs Ihrer Website zu crawlen. Zweitens die Beliebtheit: URLs, die im Internet populärer sind, werden tendenziell häufiger gecrawlt. Drittens die Aktualität: Googles Systeme wollen Dokumente so oft erneut abrufen, dass Änderungen erfasst werden.

Für wen das Crawl-Budget wirklich relevant ist

Google richtet seinen Leitfaden zum Crawl-Budget ausdrücklich an große und sehr dynamische Websites und nennt dafür grobe Größenordnungen, die ausdrücklich keine exakten Schwellenwerte sind:

Die Spalte mit Beispielen ist unsere Einordnung, nicht Teil der Google-Dokumentation. Für alle anderen Websites formuliert Google eine klare Entwarnung: Wer nicht viele, schnell wechselnde Seiten hat oder beobachtet, dass neue Seiten am Tag ihrer Veröffentlichung gecrawlt werden, muss den Leitfaden nicht lesen. Es reicht dann, die Sitemap aktuell zu halten und regelmäßig den Bericht zur Seitenindexierung zu prüfen. Für typische Unternehmenswebsites mit einigen hundert oder wenigen tausend Seiten ist das Crawl-Budget deshalb selten das eigentliche Problem – werden Seiten dort nicht indexiert, liegt die Ursache meist an anderer Stelle.

Wie Sie das Crawling Ihrer Website messen

Ob Google Ihre Website ausreichend crawlt, zeigt der Crawling-Statistikbericht der Google Search Console. Laut Search-Console-Hilfe enthält er unter anderem:

• die Gesamtzahl der Crawling-Anfragen und die Gesamtgröße der heruntergeladenen Daten,
• die durchschnittliche Reaktionszeit Ihres Servers,
• den Hoststatus, also ob Google auf Verfügbarkeitsprobleme gestoßen ist,
• die Verteilung der Anfragen nach Antwortcode, Dateityp und Googlebot-Typ,
• den Crawling-Zweck, getrennt nach „Erkennung“ neuer URLs und „Aktualisierung“ bekannter Seiten.

Der Bericht ist nur für Properties auf Stammebene verfügbar und richtet sich laut Google an fortgeschrittene Nutzer; bei Websites mit weniger als 1.000 Seiten brauchen Sie ihn laut Google wahrscheinlich nicht. Ergänzend lohnt sich bei großen Websites ein Blick in die Server-Logdateien: Sie zeigen, welche einzelnen URLs Googlebot tatsächlich abruft, und machen sichtbar, ob Crawling in Parameter-Varianten, Weiterleitungen oder Fehlerseiten fließt. Den Bericht zur Seitenindexierung, der zeigt, welche URLs gefunden, aber nicht indexiert sind, haben wir im Beitrag über den Indexing Report der Search Console erklärt.

Sechs Maßnahmen, die laut Google wirken

Wenn das Crawl-Budget für Ihre Website relevant ist, setzt Google vor allem auf eine Strategie: Google soll weniger Zeit mit URLs verbringen, die keinen Wert haben. Aus der Google-Dokumentation lassen sich sechs Maßnahmen ableiten.

1. URL-Bestand verwalten und Duplikate zusammenführen

Der erste Hebel ist ein schlanker URL-Bestand. Google empfiehlt, doppelte Inhalte zusammenzuführen, damit sich das Crawling auf eindeutige Inhalte konzentriert. Typische Quellen unnötiger URLs sind Filterkombinationen, Sortierungen, Session-IDs und Tracking-Parameter. Wie Tracking-Zusätze in internen Links das Crawling belasten, zeigt unser Beitrag „Tracking-Parameter in internen Links“.

2. Unwichtige URLs per robots.txt ausschließen

URLs, die Sie nicht zusammenführen können und die nicht in der Suche erscheinen sollen, schließen Sie laut Google per robots.txt vom Crawling aus. Für Shops mit Filternavigation empfiehlt Google genau das für Facetten-URLs, die nicht gefunden werden müssen. Beachten Sie dabei: robots.txt steuert das Crawling, nicht die Indexierung – gesperrte URLs können laut Google trotzdem im Index auftauchen, wenn sie anderswo verlinkt sind.

3. Entfernte Seiten mit 404 oder 410 beantworten

Dauerhaft entfernte Seiten sollten mit dem Statuscode 404 oder 410 antworten. Google erklärt, dass ein 404-Statuscode ein starkes Signal ist, die URL nicht erneut zu crawlen, während per robots.txt gesperrte URLs länger in der Crawling-Warteschlange bleiben. Laut der Google-Dokumentation zu HTTP-Statuscodes nimmt die Crawling-Häufigkeit solcher URLs mit der Zeit ab.

4. Soft-404-Fehler beseitigen

Ein Soft-404 liegt vor, wenn eine Seite den Statuscode 200 liefert, aber wie eine Fehlerseite aussieht oder leer ist. Google weist darauf hin, dass solche Seiten weiterhin gecrawlt werden und damit Budget verbrauchen. Die Search Console markiert sie als Soft-404; korrigieren lassen sie sich, indem leere Seiten einen echten Fehlercode liefern oder echten Inhalt bekommen.

5. Sitemaps aktuell halten und Weiterleitungsketten vermeiden

Eine aktuelle Sitemap hilft Google, wichtige und geänderte Inhalte zu finden. Google empfiehlt, alle Inhalte aufzunehmen, die gecrawlt werden sollen, und bei aktualisierten Inhalten das Element <lastmod> zu pflegen. Lange Weiterleitungsketten sollten Sie vermeiden, weil sie sich laut Google negativ auf das Crawling auswirken; Googles Crawler folgen standardmäßig bis zu zehn Weiterleitungsschritten. In der Praxis empfehlen wir, interne Links immer direkt auf das endgültige Ziel zu setzen.

6. Seiten schnell ausliefern

Die Geschwindigkeit Ihrer Seiten wirkt direkt auf das Crawling. Laut Google kann Google möglicherweise mehr Inhalte Ihrer Website lesen, wenn sich Ihre Seiten schneller laden und rendern lassen. Google empfiehlt außerdem, den Statuscode 304 (Not Modified) zu unterstützen, wenn sich ein Inhalt seit dem letzten Abruf nicht verändert hat.

Drei verbreitete Irrtümer

Rund um das Crawl-Budget halten sich einige Annahmen, denen Google in seiner Dokumentation ausdrücklich widerspricht.

Wenn Googlebot den Server überlastet

Manchmal ist nicht zu wenig, sondern zu viel Crawling das Problem – etwa wenn eine ältere Infrastruktur unter der Last leidet. Für solche Notfälle beschreibt Google eine kurzfristige Lösung: Antworten Sie auf Crawling-Anfragen für einige Stunden oder höchstens ein bis zwei Tage mit den Statuscodes 500, 503 oder 429 statt 200. Google warnt ausdrücklich davor, das länger zu tun: Sieht Googlebot diese Codes über mehrere Tage für dieselbe URL, kann die URL aus dem Index entfernt werden. Bereits indexierte URLs bleiben bei Serverfehlern zunächst erhalten, werden aber laut Google irgendwann entfernt, wenn der Zustand anhält. Sobald Ihr Server wieder erfolgreich antwortet, erhöht Google die Crawling-Rate schrittweise.

Dauerhaft ist die bessere Lösung eine Infrastruktur, die das Crawling verkraftet. Ein Statuscode-Trick ersetzt keinen ausreichend dimensionierten Server.

Was Sie je nach Website-Größe tun sollten

Wie viel Aufwand das Thema Crawling verdient, hängt in erster Linie von der Größe und Dynamik Ihrer Website ab. Die folgende Einteilung ist eine Empfehlung aus unserer Projektpraxis, die sich an den Größenordnungen aus der Google-Dokumentation orientiert:

• Kleine Websites mit wenigen hundert Seiten: Kein eigenes Crawl-Budget-Projekt. Halten Sie die Sitemap aktuell, prüfen Sie regelmäßig den Bericht zur Seitenindexierung und achten Sie darauf, dass gelöschte Seiten einen echten Fehlercode liefern. Den Crawling-Statistikbericht brauchen Sie laut Google bei weniger als 1.000 Seiten wahrscheinlich nicht.
• Mittelgroße Websites und Shops mit einigen tausend bis zehntausend Seiten: Einmal im Quartal die Crawling-Statistik ansehen, besonders die Verteilung nach Antwortcodes. Ein wachsender Anteil an Weiterleitungen oder Fehlercodes ist ein frühes Warnsignal. Filter- und Sortier-URLs sollten von Anfang an klar geregelt sein.
• Große oder sehr dynamische Websites: Crawling gehört hier zum laufenden Betrieb. Neben der Search Console sind Server-Logdateien die wichtigste Quelle, um zu sehen, welche URL-Gruppen Googlebot tatsächlich abruft. Jede neue Funktion, die URLs erzeugt, sollte vor dem Livegang auf ihre Crawling-Wirkung geprüft werden.

Ein Hinweis zur Einordnung: Crawling ist die Voraussetzung dafür, dass Google eine Seite überhaupt kennt. Ob sie anschließend indexiert und gut platziert wird, entscheiden andere Faktoren wie Qualität und Relevanz des Inhalts. Ein höheres Crawling-Volumen allein ist deshalb kein Ziel, sondern nur dann wichtig, wenn wertvolle Seiten sonst zu spät oder gar nicht gefunden werden.

Crawl-Budget in der Website-Architektur mitdenken

Viele Crawling-Probleme entstehen nicht im Betrieb, sondern bei Entscheidungen über die Struktur einer Website. Dazu gehören die Frage, ob Länderversionen, Blogs oder Shops in Unterverzeichnissen oder auf Subdomains liegen, wie Filter technisch umgesetzt werden und wie viele URL-Varianten ein Shopsystem standardmäßig erzeugt. Welche Rolle die Domainstruktur dabei spielt, haben wir im Beitrag „Subdomain vs. Unterverzeichnis“ beschrieben.

Unsere Empfehlung aus der Praxis: Prüfen Sie bei jedem Relaunch, jeder Shop-Migration und jeder neuen Filterfunktion, wie viele neue URLs entstehen und ob Google sie braucht. Diese Prüfung ist fester Bestandteil unseres SEO-Audits.

Häufige Fragen

Was ist das Crawl-Budget?

Das Crawl-Budget ist laut Google die Menge an URLs, die Google auf einer Website crawlen kann und crawlen will. Es ergibt sich aus zwei Faktoren: dem Crawlkapazitätslimit, also wie viel Last der Server verträgt, und dem Crawlbedarf, also wie viel Interesse Google an den Inhalten der Website hat.

Ab wann muss ich mich um das Crawl-Budget kümmern?

Google nennt als grobe Orientierung, ausdrücklich nicht als exakte Schwellen: große Websites mit mehr als einer Million eindeutiger Seiten, deren Inhalte sich etwa wöchentlich ändern, mittelgroße Websites mit mehr als 10.000 Seiten und täglich wechselnden Inhalten sowie Websites, bei denen ein großer Teil der URLs in der Search Console als gefunden, aber nicht indexiert geführt wird.

Spart ein noindex-Tag Crawl-Budget?

Nein. Google weist darauf hin, dass Seiten mit noindex trotzdem abgerufen und erst danach verworfen werden. Wer verhindern will, dass unwichtige URLs gecrawlt werden, sollte sie zusammenführen oder per robots.txt ausschließen.

Wie sehe ich, wie oft Google meine Website crawlt?

Der Crawling-Statistikbericht der Google Search Console zeigt unter anderem die Gesamtzahl der Crawling-Anfragen, die heruntergeladene Datenmenge, die durchschnittliche Reaktionszeit, den Hoststatus sowie die Verteilung nach Antwortcodes, Dateitypen, Crawling-Zweck und Googlebot-Typ. Der Bericht ist nur für Properties auf Stammebene verfügbar.

Wie kann ich das Crawling durch Google kurzfristig drosseln?

Für einen kurzen Zeitraum von einigen Stunden bis höchstens ein bis zwei Tagen können Sie laut Google auf Crawling-Anfragen mit den Statuscodes 500, 503 oder 429 statt 200 antworten. Länger sollten Sie das nicht tun: Sieht Googlebot diese Codes über mehrere Tage für dieselbe URL, kann sie aus dem Index entfernt werden.

Hilft es, unwichtige Seiten vorübergehend per robots.txt zu sperren, damit wichtige Seiten öfter gecrawlt werden?

Nein. Google rät ausdrücklich davon ab, robots.txt zur vorübergehenden Umverteilung des Crawl-Budgets zu nutzen. Frei werdendes Budget wird laut Google nur dann anderen Seiten zugeteilt, wenn Google ohnehin am Kapazitätslimit Ihrer Website crawlt.

Fazit: Erst prüfen, ob es Sie betrifft

Das Crawl-Budget ist ein reales Thema – aber eines für große und sehr dynamische Websites. Für die meisten Unternehmenswebsites gilt Googles Entwarnung: Werden neue Seiten schnell gecrawlt, liegen Indexierungsprobleme woanders. Wo das Budget doch zählt, gewinnt nicht der cleverste Trick, sondern die sauberste Website: wenige nutzlose URLs, ehrliche Statuscodes, kurze Wege und ein schneller Server.

• Relevanz prüfen: Googles grobe Orientierung sind über eine Million Seiten mit wöchentlichen oder über 10.000 Seiten mit täglichen Änderungen.
• Messen statt vermuten: Crawling-Statistik der Search Console und Server-Logdateien zeigen, wohin das Crawling fließt.
• URL-Bestand ausdünnen: Duplikate zusammenführen, unwichtige URLs per robots.txt ausschließen.
• Statuscodes ernst nehmen: 404 oder 410 für Entferntes, keine Soft-404, kurze Weiterleitungen.
• Mythen meiden: noindex und vorübergehende robots.txt-Sperren sparen kein Budget.