YellowFrog – SEO-bureau
BlogZoekmachineoptimalisatie

Crawlbudget begrijpen: wanneer het voor je website echt telt – en wanneer je het gerust kunt negeren

Moet je website zich zorgen maken over crawlbudget? De drempels van Google, de twee knoppen en zes maatregelen die echt werken – zonder mythes of trucs.

SophieSophie11 min. leestijd

Nauwelijks een SEO-begrip wordt zo vaak genoemd en zo zelden juist ingeschat als het crawlbudget. Voor verreweg de meeste bedrijfswebsites is het geen knelpunt – en wie op de verkeerde plek optimaliseert, verspilt tijd die elders meer zou opleveren.

Dit artikel legt uit wat Google onder crawlbudget verstaat, voor welke websites het volgens Google echt relevant is, hoe je het crawlen van je website meet en welke maatregelen werken. Daarbij houden we ons strikt aan wat Google zelf documenteert – en scheiden we dat netjes van wijdverbreide mythes.

Verdieping: Technische SEO bij YellowFrog · Het indexeringsrapport van Search Console

Executive Summary

Het crawlbudget is de hoeveelheid URL's die Google op een website kan en wil crawlen. Het volgt uit de crawlcapaciteitslimiet, die afhangt van hoeveel je server aankan, en de crawlbehoefte, die afhangt van omvang, actualiteit, kwaliteit en relevantie van je content. Google richt zijn handleiding uitdrukkelijk op grote of zeer snel veranderende websites; wie nieuwe pagina's op de dag van publicatie gecrawld ziet worden, hoeft volgens Google verder niets te doen. Waar het budget wel telt, werken vooral minder nutteloze URL's, correcte statuscodes, korte redirectketens en snelle responstijden. noindex en tijdelijke robots.txt-blokkades besparen daarentegen geen budget.

Wat is het crawlbudget?

Het crawlbudget is volgens de definitie van Google de hoeveelheid URL's die Google op een website kan en wil crawlen.

Definitie · Crawlcapaciteitslimiet en crawlbehoefte

De crawlcapaciteitslimiet begrenst hoeveel tijd je server in totaal met open verbindingen voor Google bezig is, en hangt af van hoe goed je server de verzoeken aankan. De crawlbehoefte beschrijft hoeveel Google wil crawlen – afhankelijk van omvang, updatefrequentie, kwaliteit en relevantie van een website. Het crawlbudget volgt uit beide.

Beide factoren zijn op verschillende manieren te beïnvloeden. De capaciteit hangt vooral af van je technische infrastructuur, de behoefte van je content en de structuur daarvan. Volgens Google stijgt de capaciteitslimiet als je website een tijdlang snel en stabiel reageert; wordt die trager of levert die serverfouten zoals 5xx of 429, dan daalt de limiet en crawlt Google minder. Google wijst er bovendien op dat ook de eigen crawlcapaciteit weliswaar groot, maar eindig is.

Bij de crawlbehoefte noemt Google drie factoren. Ten eerste de waargenomen voorraad: zonder sturing van jouw kant probeert Google alle of de meeste bekende URL's van je website te crawlen. Ten tweede de populariteit: URL's die op internet populairder zijn, worden doorgaans vaker gecrawld. Ten derde de actualiteit: de systemen van Google willen documenten zo vaak opnieuw ophalen dat wijzigingen worden opgepikt.

Voor wie is het crawlbudget echt relevant?

Google richt zijn handleiding over crawlbudget uitdrukkelijk op grote en zeer dynamische websites en noemt daarvoor grove ordes van grootte, die uitdrukkelijk geen exacte drempelwaarden zijn:

Type website volgens GoogleAantal pagina'sWijzigingsfrequentieTypische voorbeelden uit de praktijk
Grote websitesmeer dan 1 miljoen unieke pagina'sgematigd, ongeveer eens per weekGrote webshops, marktplaatsen, bedrijvengidsen
Middelgrote of grotere websitesmeer dan 10.000 unieke pagina'szeer snel, dagelijksNieuwsportals, vacaturesites, advertentiesites
Websites met indexeringsachterstandongeacht de omvang–Een groot deel van de URL's staat in Search Console op ‘Gevonden - momenteel niet geïndexeerd’

De kolom met voorbeelden is onze eigen indeling, geen onderdeel van de Google-documentatie. Voor alle andere websites geeft Google duidelijk het sein ‘veilig’: wie niet veel, snel veranderende pagina's heeft of ziet dat nieuwe pagina's op de dag van publicatie worden gecrawld, hoeft de handleiding niet te lezen. Het volstaat dan om de sitemap actueel te houden en regelmatig het rapport Pagina-indexering te controleren. Voor typische bedrijfswebsites met enkele honderden of een paar duizend pagina's is het crawlbudget daarom zelden het eigenlijke probleem – worden pagina's daar niet geïndexeerd, dan ligt de oorzaak meestal ergens anders.

Hoe meet je het crawlen van een website?

Of Google je website voldoende crawlt, laat het rapport Crawlstatistieken in Google Search Console zien. Volgens de Search Console Help bevat het onder meer:

  • het totale aantal crawlverzoeken en de totale omvang van de gedownloade gegevens,
  • de gemiddelde responstijd van je server,
  • de hoststatus, dus of Google op beschikbaarheidsproblemen is gestuit,
  • de verdeling van de verzoeken naar responscode, bestandstype en type Googlebot,
  • het crawldoel, uitgesplitst naar ‘Detectie’ van nieuwe URL's en ‘Vernieuwing’ van bekende pagina's.

Het rapport is alleen beschikbaar voor property's op rootniveau en is volgens Google bedoeld voor gevorderde gebruikers; bij websites met minder dan 1.000 pagina's heb je het volgens Google waarschijnlijk niet nodig. Aanvullend loont bij grote websites een blik in de logbestanden van de server: die laten zien welke afzonderlijke URL's Googlebot daadwerkelijk ophaalt, en maken zichtbaar of crawlen wegvloeit naar parametervarianten, redirects of foutpagina's. Het rapport Pagina-indexering, dat laat zien welke URL's gevonden maar niet geïndexeerd zijn, hebben we uitgelegd in het artikel over het indexeringsrapport van Search Console.

Zes maatregelen die volgens Google werken

Als het crawlbudget voor je website relevant is, zet Google vooral in op één strategie: Google moet minder tijd besteden aan URL's die geen waarde hebben. Uit de Google-documentatie zijn zes maatregelen af te leiden.

1. URL-voorraad beheren en duplicaten samenvoegen

De eerste hefboom is een slanke URL-voorraad. Google adviseert om dubbele content samen te voegen, zodat het crawlen zich op unieke content concentreert. Typische bronnen van onnodige URL's zijn filtercombinaties, sorteringen, sessie-ID's en trackingparameters. Hoe trackingtoevoegingen in interne links het crawlen belasten, laat ons artikel ‘Trackingparameters in interne links’ zien.

2. Onbelangrijke URL's via robots.txt uitsluiten

URL's die je niet kunt samenvoegen en die niet in de zoekresultaten moeten verschijnen, sluit je volgens Google via robots.txt van het crawlen uit. Voor webshops met filternavigatie adviseert Google precies dat voor facet-URL's die niet gevonden hoeven te worden. Let daarbij op: robots.txt stuurt het crawlen, niet de indexering – geblokkeerde URL's kunnen volgens Google toch in de index verschijnen als er elders naar gelinkt wordt.

3. Verwijderde pagina's beantwoorden met 404 of 410

Definitief verwijderde pagina's horen te antwoorden met statuscode 404 of 410. Google legt uit dat een 404-statuscode een sterk signaal is om de URL niet opnieuw te crawlen, terwijl via robots.txt geblokkeerde URL's langer in de crawlwachtrij blijven. Volgens de Google-documentatie over HTTP-statuscodes neemt de crawlfrequentie van zulke URL's na verloop van tijd af.

4. Soft 404-fouten oplossen

Van een soft 404 is sprake als een pagina statuscode 200 levert, maar eruitziet als een foutpagina of leeg is. Google wijst erop dat zulke pagina's nog steeds worden gecrawld en dus budget verbruiken. Search Console markeert ze als soft 404; je lost ze op door lege pagina's een echte foutcode te laten geven of echte content te bieden.

5. Sitemaps actueel houden en redirectketens vermijden

Een actuele sitemap helpt Google om belangrijke en gewijzigde content te vinden. Google adviseert om alle content op te nemen die gecrawld moet worden, en bij bijgewerkte content het element <lastmod> bij te houden. Lange redirectketens kun je beter vermijden, omdat ze volgens Google een negatief effect op het crawlen hebben; de crawlers van Google volgen standaard maximaal tien redirectstappen. In de praktijk adviseren we om interne links altijd direct naar de definitieve bestemming te laten verwijzen.

6. Pagina's snel leveren

De snelheid van je pagina's heeft direct invloed op het crawlen. Volgens Google kan Google mogelijk meer content van je website lezen als je pagina's sneller laden en renderen. Google adviseert bovendien om statuscode 304 (Not Modified) te ondersteunen als een content sinds de laatste keer ophalen niet is veranderd.

Drie misvattingen over crawlbudget Vergelijking van drie wijdverbreide aannames over crawlbudget met wat Google er in zijn documentatie over zegt. Crawlbudget: aanname vs. Google-documentatie Gangbare aanname Wat Google zegt “noindex helpt crawlbudget.“ Nee. Google haalt de pagina toch op en verwerpt die pas daarna. “Met robots.txt kun je budget tijdelijk omleiden.“ Nee. Vrijgekomen budget wordt alleen verdeeld als Google al op de capaciteitslimiet crawlt. “Iedere site moet zijn crawlbudget verbeteren.“ Nee. Als nieuwe pagina's op de dag van publicatie worden gecrawld, hoeft het niet.
noindex bespaart geen crawlbudget, robots.txt leidt het niet tijdelijk om – en wie nieuwe pagina's op de dag van publicatie gecrawld ziet worden, hoeft volgens Google niets te optimaliseren.

Drie wijdverbreide misvattingen

Rond het crawlbudget houden enkele aannames stand die Google in zijn documentatie uitdrukkelijk tegenspreekt.

AannameWat Google erover zegt
‘noindex bespaart crawlbudget.’Nee. Google haalt de pagina toch op en verwerpt die pas daarna – dat kost crawltijd.
‘Met robots.txt kan ik budget tijdelijk omleiden naar belangrijke pagina's.’Nee. Google raadt dat af; vrijgekomen budget wordt alleen aan andere pagina's toegewezen als Google al op de capaciteitslimiet van je website crawlt.
‘Elke website moet zijn crawlbudget optimaliseren.’Nee. Worden nieuwe pagina's op de dag van publicatie gecrawld, dan is de handleiding volgens Google niet nodig.

Als Googlebot de server overbelast

Soms is niet te weinig, maar te veel crawlen het probleem – bijvoorbeeld als een oudere infrastructuur onder de belasting lijdt. Voor zulke noodgevallen beschrijft Google een kortetermijnoplossing: beantwoord crawlverzoeken een paar uur of hoogstens een tot twee dagen met de statuscodes 500, 503 of 429 in plaats van 200. Google waarschuwt uitdrukkelijk om dat niet langer te doen: ziet Googlebot deze codes meerdere dagen voor dezelfde URL, dan kan de URL uit de index worden verwijderd. Al geïndexeerde URL's blijven bij serverfouten eerst behouden, maar worden volgens Google uiteindelijk verwijderd als de situatie aanhoudt. Zodra je server weer succesvol reageert, verhoogt Google de crawlsnelheid stap voor stap.

Structureel is een infrastructuur die het crawlen aankan de betere oplossing. Een statuscodetruc vervangt geen server met voldoende capaciteit.

Wat je per websitegrootte moet doen

Hoeveel aandacht het onderwerp crawlen verdient, hangt in de eerste plaats af van de omvang en dynamiek van je website. De volgende indeling is een aanbeveling uit onze projectpraktijk, gebaseerd op de ordes van grootte uit de Google-documentatie:

  • Kleine websites met enkele honderden pagina's: geen apart crawlbudgetproject. Houd de sitemap actueel, controleer regelmatig het rapport Pagina-indexering en zorg dat verwijderde pagina's een echte foutcode geven. Het rapport Crawlstatistieken heb je volgens Google bij minder dan 1.000 pagina's waarschijnlijk niet nodig.
  • Middelgrote websites en webshops met enkele duizenden tot tienduizend pagina's: eens per kwartaal de crawlstatistieken bekijken, vooral de verdeling naar responscodes. Een groeiend aandeel redirects of foutcodes is een vroeg waarschuwingssignaal. Filter- en sorteer-URL's horen vanaf het begin duidelijk geregeld te zijn.
  • Grote of zeer dynamische websites: crawlen hoort hier bij de dagelijkse bedrijfsvoering. Naast Search Console zijn de logbestanden van de server de belangrijkste bron om te zien welke URL-groepen Googlebot daadwerkelijk ophaalt. Elke nieuwe functie die URL's genereert, hoort vóór de livegang op haar crawleffect te worden getoetst.

Een kanttekening ter duiding: crawlen is de voorwaarde om Google een pagina überhaupt te laten kennen. Of die daarna wordt geïndexeerd en goed scoort, bepalen andere factoren, zoals kwaliteit en relevantie van de content. Een hoger crawlvolume op zich is daarom geen doel, maar alleen belangrijk als waardevolle pagina's anders te laat of helemaal niet worden gevonden.

Crawlbudget meenemen in de websitearchitectuur

Veel crawlproblemen ontstaan niet tijdens de bedrijfsvoering, maar bij beslissingen over de structuur van een website. Daartoe horen de vraag of landenversies, blogs of webshops in submappen of op subdomeinen staan, hoe filters technisch worden ingericht en hoeveel URL-varianten een shopsysteem standaard genereert. Welke rol de domeinstructuur daarbij speelt, beschrijven we in het artikel ‘Subdomein vs. submap’.

Ons advies uit de praktijk: controleer bij elke relaunch, elke shopmigratie en elke nieuwe filterfunctie hoeveel nieuwe URL's er ontstaan en of Google ze nodig heeft. Die controle is een vast onderdeel van onze SEO-audit.

Veelgestelde vragen

Wat is het crawlbudget?

Het crawlbudget is volgens Google de hoeveelheid URL's die Google op een website kan en wil crawlen. Het volgt uit twee factoren: de crawlcapaciteitslimiet, dus hoeveel belasting de server aankan, en de crawlbehoefte, dus hoeveel interesse Google heeft in de content van de website.

Vanaf wanneer moet ik me met het crawlbudget bezighouden?

Google noemt als grove richtlijn, uitdrukkelijk niet als exacte drempels: grote websites met meer dan een miljoen unieke pagina's waarvan de content ongeveer wekelijks verandert, middelgrote websites met meer dan 10.000 pagina's en dagelijks wisselende content, en websites waarbij een groot deel van de URL's in Search Console als gevonden maar niet geïndexeerd wordt vermeld.

Bespaart een noindex-tag crawlbudget?

Nee. Google wijst erop dat pagina's met noindex toch worden opgehaald en pas daarna worden verworpen. Wie wil voorkomen dat onbelangrijke URL's worden gecrawld, kan ze beter samenvoegen of via robots.txt uitsluiten.

Hoe zie ik hoe vaak Google mijn website crawlt?

Het rapport Crawlstatistieken in Google Search Console toont onder meer het totale aantal crawlverzoeken, de gedownloade hoeveelheid gegevens, de gemiddelde responstijd, de hoststatus en de verdeling naar responscodes, bestandstypen, crawldoel en type Googlebot. Het rapport is alleen beschikbaar voor property's op rootniveau.

Hoe kan ik het crawlen door Google op korte termijn afremmen?

Voor een korte periode van enkele uren tot hoogstens een tot twee dagen kun je volgens Google crawlverzoeken beantwoorden met de statuscodes 500, 503 of 429 in plaats van 200. Langer moet je dat niet doen: ziet Googlebot deze codes meerdere dagen voor dezelfde URL, dan kan die uit de index worden verwijderd.

Helpt het om onbelangrijke pagina's tijdelijk via robots.txt te blokkeren, zodat belangrijke pagina's vaker worden gecrawld?

Nee. Google raadt uitdrukkelijk af om robots.txt te gebruiken om het crawlbudget tijdelijk te herverdelen. Vrijgekomen budget wordt volgens Google alleen aan andere pagina's toegewezen als Google toch al op de capaciteitslimiet van je website crawlt.

Conclusie: controleer eerst of het jou betreft

Het crawlbudget is een reëel onderwerp – maar wel een voor grote en zeer dynamische websites. Voor de meeste bedrijfswebsites geldt het geruststellende signaal van Google: worden nieuwe pagina's snel gecrawld, dan liggen indexeringsproblemen ergens anders. Waar het budget wel telt, wint niet de slimste truc, maar de netste website: weinig nutteloze URL's, eerlijke statuscodes, korte routes en een snelle server.

  • Relevantie controleren: de grove richtlijn van Google is meer dan een miljoen pagina's met wekelijkse of meer dan 10.000 pagina's met dagelijkse wijzigingen.
  • Meten in plaats van gissen: de crawlstatistieken van Search Console en de logbestanden van de server laten zien waar het crawlen naartoe gaat.
  • URL-voorraad uitdunnen: duplicaten samenvoegen, onbelangrijke URL's via robots.txt uitsluiten.
  • Statuscodes serieus nemen: 404 of 410 voor verwijderde content, geen soft 404's, korte redirects.
  • Mythes vermijden: noindex en tijdelijke robots.txt-blokkades besparen geen budget.

“Het crawlbudget is voor de meeste bedrijfswebsites geen knelpunt. Relevant wordt het volgens Google pas bij heel veel of heel snel veranderende pagina's – en dan helpt geen truc, maar orde: minder nutteloze URL's, duidelijke statuscodes en een snelle server.”

— YellowFrog SEO-Team
Sophie

Over de auteur

Sophie

SEO-strateeg bij YellowFrog – specialisaties: technische SEO, crawlen en indexering van grote websites.

Inhoudelijk gecontroleerd door Elena – Head of SEO

Volg YellowFrog

Algemene informatie over crawlen door Google. Hoe sterk je website wordt geraakt, hangt af van het aantal pagina's, de wijzigingsfrequentie en de serverprestaties. Stand van zaken: oktober 2026.

YellowFrog

Zichtbaarheid is geen toeval.

Laten we samen bekijken hoe je merk zichtbaarder wordt in Google – en in AI-antwoorden. Concreet, meetbaar, zonder buzzword-bingo.

Verder lezen & passende diensten

Passende diensten