Nauwelijks een SEO-begrip wordt zo vaak genoemd en zo zelden juist ingeschat als het crawlbudget. Voor verreweg de meeste bedrijfswebsites is het geen knelpunt – en wie op de verkeerde plek optimaliseert, verspilt tijd die elders meer zou opleveren.
Dit artikel legt uit wat Google onder crawlbudget verstaat, voor welke websites het volgens Google echt relevant is, hoe je het crawlen van je website meet en welke maatregelen werken. Daarbij houden we ons strikt aan wat Google zelf documenteert – en scheiden we dat netjes van wijdverbreide mythes.
Verdieping: Technische SEO bij YellowFrog · Het indexeringsrapport van Search Console
Het crawlbudget is de hoeveelheid URL's die Google op een website kan en wil crawlen. Het volgt uit de crawlcapaciteitslimiet, die afhangt van hoeveel je server aankan, en de crawlbehoefte, die afhangt van omvang, actualiteit, kwaliteit en relevantie van je content. Google richt zijn handleiding uitdrukkelijk op grote of zeer snel veranderende websites; wie nieuwe pagina's op de dag van publicatie gecrawld ziet worden, hoeft volgens Google verder niets te doen. Waar het budget wel telt, werken vooral minder nutteloze URL's, correcte statuscodes, korte redirectketens en snelle responstijden. noindex en tijdelijke robots.txt-blokkades besparen daarentegen geen budget.
Wat is het crawlbudget?
Het crawlbudget is volgens de definitie van Google de hoeveelheid URL's die Google op een website kan en wil crawlen.
De crawlcapaciteitslimiet begrenst hoeveel tijd je server in totaal met open verbindingen voor Google bezig is, en hangt af van hoe goed je server de verzoeken aankan. De crawlbehoefte beschrijft hoeveel Google wil crawlen – afhankelijk van omvang, updatefrequentie, kwaliteit en relevantie van een website. Het crawlbudget volgt uit beide.
Beide factoren zijn op verschillende manieren te beïnvloeden. De capaciteit hangt vooral af van je technische infrastructuur, de behoefte van je content en de structuur daarvan. Volgens Google stijgt de capaciteitslimiet als je website een tijdlang snel en stabiel reageert; wordt die trager of levert die serverfouten zoals 5xx of 429, dan daalt de limiet en crawlt Google minder. Google wijst er bovendien op dat ook de eigen crawlcapaciteit weliswaar groot, maar eindig is.
Bij de crawlbehoefte noemt Google drie factoren. Ten eerste de waargenomen voorraad: zonder sturing van jouw kant probeert Google alle of de meeste bekende URL's van je website te crawlen. Ten tweede de populariteit: URL's die op internet populairder zijn, worden doorgaans vaker gecrawld. Ten derde de actualiteit: de systemen van Google willen documenten zo vaak opnieuw ophalen dat wijzigingen worden opgepikt.
Voor wie is het crawlbudget echt relevant?
Google richt zijn handleiding over crawlbudget uitdrukkelijk op grote en zeer dynamische websites en noemt daarvoor grove ordes van grootte, die uitdrukkelijk geen exacte drempelwaarden zijn:
| Type website volgens Google | Aantal pagina's | Wijzigingsfrequentie | Typische voorbeelden uit de praktijk |
|---|---|---|---|
| Grote websites | meer dan 1 miljoen unieke pagina's | gematigd, ongeveer eens per week | Grote webshops, marktplaatsen, bedrijvengidsen |
| Middelgrote of grotere websites | meer dan 10.000 unieke pagina's | zeer snel, dagelijks | Nieuwsportals, vacaturesites, advertentiesites |
| Websites met indexeringsachterstand | ongeacht de omvang | – | Een groot deel van de URL's staat in Search Console op ‘Gevonden - momenteel niet geïndexeerd’ |
De kolom met voorbeelden is onze eigen indeling, geen onderdeel van de Google-documentatie. Voor alle andere websites geeft Google duidelijk het sein ‘veilig’: wie niet veel, snel veranderende pagina's heeft of ziet dat nieuwe pagina's op de dag van publicatie worden gecrawld, hoeft de handleiding niet te lezen. Het volstaat dan om de sitemap actueel te houden en regelmatig het rapport Pagina-indexering te controleren. Voor typische bedrijfswebsites met enkele honderden of een paar duizend pagina's is het crawlbudget daarom zelden het eigenlijke probleem – worden pagina's daar niet geïndexeerd, dan ligt de oorzaak meestal ergens anders.
Hoe meet je het crawlen van een website?
Of Google je website voldoende crawlt, laat het rapport Crawlstatistieken in Google Search Console zien. Volgens de Search Console Help bevat het onder meer:
- het totale aantal crawlverzoeken en de totale omvang van de gedownloade gegevens,
- de gemiddelde responstijd van je server,
- de hoststatus, dus of Google op beschikbaarheidsproblemen is gestuit,
- de verdeling van de verzoeken naar responscode, bestandstype en type Googlebot,
- het crawldoel, uitgesplitst naar ‘Detectie’ van nieuwe URL's en ‘Vernieuwing’ van bekende pagina's.
Het rapport is alleen beschikbaar voor property's op rootniveau en is volgens Google bedoeld voor gevorderde gebruikers; bij websites met minder dan 1.000 pagina's heb je het volgens Google waarschijnlijk niet nodig. Aanvullend loont bij grote websites een blik in de logbestanden van de server: die laten zien welke afzonderlijke URL's Googlebot daadwerkelijk ophaalt, en maken zichtbaar of crawlen wegvloeit naar parametervarianten, redirects of foutpagina's. Het rapport Pagina-indexering, dat laat zien welke URL's gevonden maar niet geïndexeerd zijn, hebben we uitgelegd in het artikel over het indexeringsrapport van Search Console.
Zes maatregelen die volgens Google werken
Als het crawlbudget voor je website relevant is, zet Google vooral in op één strategie: Google moet minder tijd besteden aan URL's die geen waarde hebben. Uit de Google-documentatie zijn zes maatregelen af te leiden.
1. URL-voorraad beheren en duplicaten samenvoegen
De eerste hefboom is een slanke URL-voorraad. Google adviseert om dubbele content samen te voegen, zodat het crawlen zich op unieke content concentreert. Typische bronnen van onnodige URL's zijn filtercombinaties, sorteringen, sessie-ID's en trackingparameters. Hoe trackingtoevoegingen in interne links het crawlen belasten, laat ons artikel ‘Trackingparameters in interne links’ zien.
2. Onbelangrijke URL's via robots.txt uitsluiten
URL's die je niet kunt samenvoegen en die niet in de zoekresultaten moeten verschijnen, sluit je volgens Google via robots.txt van het crawlen uit. Voor webshops met filternavigatie adviseert Google precies dat voor facet-URL's die niet gevonden hoeven te worden. Let daarbij op: robots.txt stuurt het crawlen, niet de indexering – geblokkeerde URL's kunnen volgens Google toch in de index verschijnen als er elders naar gelinkt wordt.
3. Verwijderde pagina's beantwoorden met 404 of 410
Definitief verwijderde pagina's horen te antwoorden met statuscode 404 of 410. Google legt uit dat een 404-statuscode een sterk signaal is om de URL niet opnieuw te crawlen, terwijl via robots.txt geblokkeerde URL's langer in de crawlwachtrij blijven. Volgens de Google-documentatie over HTTP-statuscodes neemt de crawlfrequentie van zulke URL's na verloop van tijd af.
4. Soft 404-fouten oplossen
Van een soft 404 is sprake als een pagina statuscode 200 levert, maar eruitziet als een foutpagina of leeg is. Google wijst erop dat zulke pagina's nog steeds worden gecrawld en dus budget verbruiken. Search Console markeert ze als soft 404; je lost ze op door lege pagina's een echte foutcode te laten geven of echte content te bieden.
5. Sitemaps actueel houden en redirectketens vermijden
Een actuele sitemap helpt Google om belangrijke en gewijzigde content te vinden. Google adviseert om alle content op te nemen die gecrawld moet worden, en bij bijgewerkte content het element <lastmod> bij te houden. Lange redirectketens kun je beter vermijden, omdat ze volgens Google een negatief effect op het crawlen hebben; de crawlers van Google volgen standaard maximaal tien redirectstappen. In de praktijk adviseren we om interne links altijd direct naar de definitieve bestemming te laten verwijzen.
6. Pagina's snel leveren
De snelheid van je pagina's heeft direct invloed op het crawlen. Volgens Google kan Google mogelijk meer content van je website lezen als je pagina's sneller laden en renderen. Google adviseert bovendien om statuscode 304 (Not Modified) te ondersteunen als een content sinds de laatste keer ophalen niet is veranderd.
Drie wijdverbreide misvattingen
Rond het crawlbudget houden enkele aannames stand die Google in zijn documentatie uitdrukkelijk tegenspreekt.
| Aanname | Wat Google erover zegt |
|---|---|
| ‘noindex bespaart crawlbudget.’ | Nee. Google haalt de pagina toch op en verwerpt die pas daarna – dat kost crawltijd. |
| ‘Met robots.txt kan ik budget tijdelijk omleiden naar belangrijke pagina's.’ | Nee. Google raadt dat af; vrijgekomen budget wordt alleen aan andere pagina's toegewezen als Google al op de capaciteitslimiet van je website crawlt. |
| ‘Elke website moet zijn crawlbudget optimaliseren.’ | Nee. Worden nieuwe pagina's op de dag van publicatie gecrawld, dan is de handleiding volgens Google niet nodig. |
Als Googlebot de server overbelast
Soms is niet te weinig, maar te veel crawlen het probleem – bijvoorbeeld als een oudere infrastructuur onder de belasting lijdt. Voor zulke noodgevallen beschrijft Google een kortetermijnoplossing: beantwoord crawlverzoeken een paar uur of hoogstens een tot twee dagen met de statuscodes 500, 503 of 429 in plaats van 200. Google waarschuwt uitdrukkelijk om dat niet langer te doen: ziet Googlebot deze codes meerdere dagen voor dezelfde URL, dan kan de URL uit de index worden verwijderd. Al geïndexeerde URL's blijven bij serverfouten eerst behouden, maar worden volgens Google uiteindelijk verwijderd als de situatie aanhoudt. Zodra je server weer succesvol reageert, verhoogt Google de crawlsnelheid stap voor stap.
Structureel is een infrastructuur die het crawlen aankan de betere oplossing. Een statuscodetruc vervangt geen server met voldoende capaciteit.
Wat je per websitegrootte moet doen
Hoeveel aandacht het onderwerp crawlen verdient, hangt in de eerste plaats af van de omvang en dynamiek van je website. De volgende indeling is een aanbeveling uit onze projectpraktijk, gebaseerd op de ordes van grootte uit de Google-documentatie:
- Kleine websites met enkele honderden pagina's: geen apart crawlbudgetproject. Houd de sitemap actueel, controleer regelmatig het rapport Pagina-indexering en zorg dat verwijderde pagina's een echte foutcode geven. Het rapport Crawlstatistieken heb je volgens Google bij minder dan 1.000 pagina's waarschijnlijk niet nodig.
- Middelgrote websites en webshops met enkele duizenden tot tienduizend pagina's: eens per kwartaal de crawlstatistieken bekijken, vooral de verdeling naar responscodes. Een groeiend aandeel redirects of foutcodes is een vroeg waarschuwingssignaal. Filter- en sorteer-URL's horen vanaf het begin duidelijk geregeld te zijn.
- Grote of zeer dynamische websites: crawlen hoort hier bij de dagelijkse bedrijfsvoering. Naast Search Console zijn de logbestanden van de server de belangrijkste bron om te zien welke URL-groepen Googlebot daadwerkelijk ophaalt. Elke nieuwe functie die URL's genereert, hoort vóór de livegang op haar crawleffect te worden getoetst.
Een kanttekening ter duiding: crawlen is de voorwaarde om Google een pagina überhaupt te laten kennen. Of die daarna wordt geïndexeerd en goed scoort, bepalen andere factoren, zoals kwaliteit en relevantie van de content. Een hoger crawlvolume op zich is daarom geen doel, maar alleen belangrijk als waardevolle pagina's anders te laat of helemaal niet worden gevonden.
Crawlbudget meenemen in de websitearchitectuur
Veel crawlproblemen ontstaan niet tijdens de bedrijfsvoering, maar bij beslissingen over de structuur van een website. Daartoe horen de vraag of landenversies, blogs of webshops in submappen of op subdomeinen staan, hoe filters technisch worden ingericht en hoeveel URL-varianten een shopsysteem standaard genereert. Welke rol de domeinstructuur daarbij speelt, beschrijven we in het artikel ‘Subdomein vs. submap’.
Ons advies uit de praktijk: controleer bij elke relaunch, elke shopmigratie en elke nieuwe filterfunctie hoeveel nieuwe URL's er ontstaan en of Google ze nodig heeft. Die controle is een vast onderdeel van onze SEO-audit.
Veelgestelde vragen
Wat is het crawlbudget?
Het crawlbudget is volgens Google de hoeveelheid URL's die Google op een website kan en wil crawlen. Het volgt uit twee factoren: de crawlcapaciteitslimiet, dus hoeveel belasting de server aankan, en de crawlbehoefte, dus hoeveel interesse Google heeft in de content van de website.
Vanaf wanneer moet ik me met het crawlbudget bezighouden?
Google noemt als grove richtlijn, uitdrukkelijk niet als exacte drempels: grote websites met meer dan een miljoen unieke pagina's waarvan de content ongeveer wekelijks verandert, middelgrote websites met meer dan 10.000 pagina's en dagelijks wisselende content, en websites waarbij een groot deel van de URL's in Search Console als gevonden maar niet geïndexeerd wordt vermeld.
Bespaart een noindex-tag crawlbudget?
Nee. Google wijst erop dat pagina's met noindex toch worden opgehaald en pas daarna worden verworpen. Wie wil voorkomen dat onbelangrijke URL's worden gecrawld, kan ze beter samenvoegen of via robots.txt uitsluiten.
Hoe zie ik hoe vaak Google mijn website crawlt?
Het rapport Crawlstatistieken in Google Search Console toont onder meer het totale aantal crawlverzoeken, de gedownloade hoeveelheid gegevens, de gemiddelde responstijd, de hoststatus en de verdeling naar responscodes, bestandstypen, crawldoel en type Googlebot. Het rapport is alleen beschikbaar voor property's op rootniveau.
Hoe kan ik het crawlen door Google op korte termijn afremmen?
Voor een korte periode van enkele uren tot hoogstens een tot twee dagen kun je volgens Google crawlverzoeken beantwoorden met de statuscodes 500, 503 of 429 in plaats van 200. Langer moet je dat niet doen: ziet Googlebot deze codes meerdere dagen voor dezelfde URL, dan kan die uit de index worden verwijderd.
Helpt het om onbelangrijke pagina's tijdelijk via robots.txt te blokkeren, zodat belangrijke pagina's vaker worden gecrawld?
Nee. Google raadt uitdrukkelijk af om robots.txt te gebruiken om het crawlbudget tijdelijk te herverdelen. Vrijgekomen budget wordt volgens Google alleen aan andere pagina's toegewezen als Google toch al op de capaciteitslimiet van je website crawlt.
Conclusie: controleer eerst of het jou betreft
Het crawlbudget is een reëel onderwerp – maar wel een voor grote en zeer dynamische websites. Voor de meeste bedrijfswebsites geldt het geruststellende signaal van Google: worden nieuwe pagina's snel gecrawld, dan liggen indexeringsproblemen ergens anders. Waar het budget wel telt, wint niet de slimste truc, maar de netste website: weinig nutteloze URL's, eerlijke statuscodes, korte routes en een snelle server.
- Relevantie controleren: de grove richtlijn van Google is meer dan een miljoen pagina's met wekelijkse of meer dan 10.000 pagina's met dagelijkse wijzigingen.
- Meten in plaats van gissen: de crawlstatistieken van Search Console en de logbestanden van de server laten zien waar het crawlen naartoe gaat.
- URL-voorraad uitdunnen: duplicaten samenvoegen, onbelangrijke URL's via robots.txt uitsluiten.
- Statuscodes serieus nemen: 404 of 410 voor verwijderde content, geen soft 404's, korte redirects.
- Mythes vermijden: noindex en tijdelijke robots.txt-blokkades besparen geen budget.
“Het crawlbudget is voor de meeste bedrijfswebsites geen knelpunt. Relevant wordt het volgens Google pas bij heel veel of heel snel veranderende pagina's – en dan helpt geen truc, maar orde: minder nutteloze URL's, duidelijke statuscodes en een snelle server.”

Bronnen
Algemene informatie over crawlen door Google. Hoe sterk je website wordt geraakt, hangt af van het aantal pagina's, de wijzigingsfrequentie en de serverprestaties. Stand van zaken: oktober 2026.
YellowFrog
Zichtbaarheid is geen toeval.
Laten we samen bekijken hoe je merk zichtbaarder wordt in Google – en in AI-antwoorden. Concreet, meetbaar, zonder buzzword-bingo.
Verder lezen & passende diensten
Gerelateerde artikelen
Passende diensten
