YellowFrog – SEO-bureau
BlogZoekmachineoptimalisatie

Robots.txt, noindex en canonical: zo stuur je crawlen en indexering gericht – en welke tool waarvoor bedoeld is

Welke tool waarvoor? Zo stuur je crawlen en indexering met robots.txt, noindex en canonical – met beslistabel, Search Console-checks en typische fouten.

SophieSophie12 min. leestijd

Bij technische audits zien we regelmatig dezelfde verwarring: een pagina moet uit Google verdwijnen, dus wordt ze in de robots.txt geblokkeerd – en toch blijft ze in de zoekresultaten verschijnen. robots.txt, noindex en canonical zijn drie verschillende tools met drie verschillende taken: de robots.txt stuurt het crawlen, noindex de indexering en de canonical de keuze van de leidende URL tussen duplicaten. Wie weet welke tool waarvoor bedoeld is, voorkomt de meest gemaakte fouten bij het sturen van de indexering.

Deze gids legt de drie tools uit aan de hand van de documentatie van Google en de standaard RFC 9309 – met een beslistabel en een controleroutine voor Search Console.

Verdieping: Technical SEO bij YellowFrog

Executive Summary

De robots.txt is er volgens Google vooral om te voorkomen dat een website overbelast raakt door verzoeken van crawlers – ze is uitdrukkelijk geen middel om een pagina uit Google te houden. Geblokkeerde URL's kunnen zonder beschrijving in de zoekresultaten verschijnen als ernaar wordt gelinkt. Voor uitsluiting uit de index dient noindex, als metatag of als HTTP-header X-Robots-Tag. noindex werkt echter alleen als Google de pagina mag crawlen. De canonical is een hint, geen regel: hij bundelt duplicaten naar een voorkeurs-URL, maar Google kan anders beslissen. Voor snelle, tijdelijke verwijdering is er de tool Verwijderingen in Search Console, voor permanente verwijdering de statuscodes 404 of 410, wachtwoordbeveiliging of noindex.

robots.txt, noindex en canonical vergeleken De drie tools om zoekmachines te sturen naar werking, plek en bindendheid voor Google: robots.txt voor het crawlen, noindex voor de indexering, canonical voor de keuze van de leidende URL. Drie tools, drie taken robots.txt noindex Canonical Werkt op Crawlen (ophalen URL's) Indexering (tonen in de zoekresultaten) leidende URL onder duplicaten Plek Tekstbestand in de hoofdmap HTML-head of HTTP-header HTML-head, HTTP-header of sitemap Bij Google volgt de ondersteunde regels haalt pagina uit de zoekresultaten Hint, geen regel
De robots.txt stuurt het crawlen, noindex de indexering en de canonical de keuze van de leidende URL – de robots.txt is volgens Google geen middel om een pagina uit Google te houden.

Drie tools, drie taken

Het sturen van zoekmachines grijpt op drie verschillende plekken in: bij het ophalen van een URL, bij de opname in de index en bij de keuze tussen meerdere gelijke pagina's.

Definitie · Crawlen en indexeren

Crawlen is het ophalen van een URL door een zoekmachinebot. Indexeren is het opnemen van de opgehaalde content in de zoekindex, waaruit de zoekresultaten ontstaan. Een pagina kan gecrawld, maar niet geïndexeerd worden – en omgekeerd kan een URL in de index staan waarvan de content nooit is gecrawld.

ToolWerkt opPlekBindendheid voor Google
robots.txtCrawlen (ophalen van URL's)Tekstbestand in de hoofdmap van de hostGoogle houdt zich aan de ondersteunde regels; andere crawlers hoeven dat niet
noindex (metatag of X-Robots-Tag)Indexering (verschijnen in de zoekresultaten)In de HTML-head van de pagina of in de HTTP-headerGoogle verwijdert de pagina uit de zoekresultaten zodra het de regel heeft gelezen
Canonical (rel="canonical")Keuze van de leidende URL tussen duplicatenIn de HTML-head, in de HTTP-header of via de sitemapEen hint, geen regel – Google kan een andere URL kiezen

Wat kan de robots.txt – en wat niet?

De robots.txt is een tekstbestand waarmee je crawlers laat weten welke delen van je website ze mogen ophalen en welke niet.

Google beschrijft het doel in de introductie tot robots.txt ondubbelzinnig: het bestand dient vooral om overbelasting van de website door verzoeken te voorkomen. Het is volgens Google geen mechanisme om een webpagina uit Google te houden. Wordt een geblokkeerde pagina door andere pagina's gelinkt, dan kan de URL toch in de zoekresultaten verschijnen – dan zonder beschrijving, omdat Google de content niet mocht ophalen.

Google noemt bovendien drie grenzen van de robots.txt:

  • Vrijwilligheid: niet alle zoekmachines ondersteunen de regels.
  • Verschillende interpretatie: verschillende crawlers interpreteren de syntaxis verschillend.
  • Links: een geblokkeerde pagina kan worden geïndexeerd als andere websites ernaar linken.

Ook de standaard zelf maakt duidelijk dat de robots.txt geen toegangscontrole is. RFC 9309, de in september 2022 gepubliceerde standaard voor het Robots Exclusion Protocol, legt vast dat de regels geen vorm van toegangsautorisatie zijn en geen echte beveiligingsmaatregelen vervangen. Omdat het bestand openbaar is, maakt een pad dat je erin opneemt het juist vindbaar. Vertrouwelijke content hoort achter een login.

Zinvol is de robots.txt waar crawlers tijd verspillen aan URL's zonder zoekwaarde – bijvoorbeeld eindeloze combinaties van filter- en sorteerparameters. Of dat bij jouw website überhaupt gewicht in de schaal legt, lees je in ons artikel over het crawlbudget. CSS-, JavaScript- en afbeeldingsbestanden die Google nodig heeft om een pagina te begrijpen, moet je daarentegen niet blokkeren.

Syntaxis en regels van de robots.txt

Een robots.txt bestaat uit groepen die elk met een user-agent-regel beginnen en daaronder de regels voor die crawler opsommen.

# Regels voor alle crawlers
User-agent: *
Disallow: /zoeken
Disallow: /*?sortering=
Allow: /zoeken/hulp

# Eigen groep alleen voor Googlebot
User-agent: Googlebot
Disallow: /intern-test/

Sitemap: https://www.example.com/sitemap.xml

Plek en geldigheidsbereik

Volgens de handleiding van Google voor het maken van een robots.txt moet het bestand robots.txt heten, in de hoofdmap van de host staan en een UTF-8-tekstbestand zijn; een website kan maar één robots.txt hebben. De regels gelden alleen voor het protocol, de host en de poort waaronder het bestand wordt opgehaald. Een subdomein zoals shop.example.com heeft daarom een eigen bestand nodig, en het bestand onder http:// geldt niet automatisch voor https://. Paden in de regels zijn hoofdlettergevoelig: een regel voor /bestand.asp geldt niet voor /BESTAND.asp.

Ondersteunde velden

Google ondersteunt volgens zijn specificatie vier velden: user-agent, allow, disallow en sitemap. Andere velden, zoals crawl-delay, worden door Google niet ondersteund en genegeerd. Een crawler volgt precies één groep – die met de meest specifieke passende user-agent. Een eigen groep voor Googlebot vervangt dus de regels van de groep voor alle crawlers; ze vult ze niet aan. Praktijk: wie een Googlebot-groep aanmaakt, moet daar alle blokkades herhalen die ook voor Googlebot moeten gelden.

Wildcards en voorrangsregel

Google verwerkt twee wildcards: het sterretje * staat voor nul of meer willekeurige tekens, het dollarteken $ markeert het einde van de URL. Disallow: /*.pdf$ blokkeert zo alle URL's die op .pdf eindigen. Passen meerdere regels op dezelfde URL, dan wint bij Google de meest specifieke regel, gemeten aan de lengte van het regelpad. Bij even specifieke, tegenstrijdige regels past Google de minst beperkende toe. RFC 9309 formuleert dat hetzelfde: de langste match wint, en bij gelijkwaardige allow- en disallow-regels moet allow worden gebruikt. In het voorbeeld hierboven blijft /zoeken/hulp daarom bereikbaar, hoewel /zoeken is geblokkeerd.

Grootte, caching en statuscodes

De technische randvoorwaarden bepalen of je regels überhaupt werken. Google verwerkt volgens de specificatie maximaal 500 KiB van een robots.txt en slaat de inhoud doorgaans tot 24 uur in de cache op. Bijzonder belangrijk is het gedrag bij fouten:

Antwoord bij het ophalen van de robots.txtGedrag van Google
2xx (succes)Bestand wordt verwerkt zoals het is geleverd
3xx (redirect)Google volgt minstens vijf redirects; daarna wordt het bestand behandeld als een 404
4xx behalve 429Google behandelt de website alsof er geen geldige robots.txt is – dus zonder crawlbeperkingen
5xx of niet bereikbaarIn de eerste 12 uur stopt Google met het crawlen van de website; daarna wordt tot 30 dagen de laatste goede versie uit de cache gebruikt. Zonder opgeslagen versie gelden er geen beperkingen. Blijft de fout langer bestaan, dan hangt het gedrag ervan af of de website als geheel bereikbaar is

RFC 9309 schrijft voor serverfouten zelfs voor dat crawlers een volledige blokkade moeten aannemen. De consequentie voor de praktijk: een robots.txt die door een serverprobleem met 5xx antwoordt, kan het crawlen van je hele website afremmen. Een blijvend correcte statuscode 200 voor de robots.txt hoort daarom tot de basis van elke technische setup.

noindex: pagina's uit de zoekresultaten houden

noindex is de instructie aan zoekmachines om een pagina of bestand niet in de zoekresultaten te tonen – ongeacht of andere websites ernaar linken.

Volgens de documentatie van Google Indexering blokkeren met noindex verwijdert Google een pagina volledig uit de zoekresultaten zodra Googlebot de regel bij het crawlen leest. Er zijn twee gelijkwaardige manieren:

<!-- Variant 1: metatag in de <head> van een HTML-pagina -->
<meta name="robots" content="noindex">

# Variant 2: HTTP-header, bijv. voor pdf's
X-Robots-Tag: noindex

Met name="robots" richt de regel zich op alle zoekmachines die hem ondersteunen; met name="googlebot" alleen op Google. De HTTP-header X-Robots-Tag is volgens Google de oplossing voor bestanden zonder HTML-head, zoals pdf's, video- of afbeeldingsbestanden.

De belangrijkste regel

noindex werkt alleen als Google de pagina mag crawlen. Is de URL in de robots.txt geblokkeerd, dan ziet Googlebot de noindex-regel nooit – en kan de pagina in de zoekresultaten blijven verschijnen als andere pagina's ernaar linken. Blokkeer pagina's die via noindex uit de index moeten daarom niet ook nog in de robots.txt.

Hoe snel een pagina verdwijnt, hangt af van wanneer Google haar opnieuw crawlt. Google noemt daarvoor geen vaste termijn; bij minder belangrijke pagina's kan het volgens de documentatie lang duren. Via de URL-inspectietool van Search Console kun je een nieuwe crawl aanvragen en controleren of Googlebot de noindex-regel in de geleverde HTML ziet.

Andere regels in de robots-metatag

Naast noindex kent Google nog andere regels voor de robots-metatag en de X-Robots-Tag. De belangrijkste:

RegelBetekenis volgens Google
noindexPagina, medium of bron niet in de zoekresultaten tonen
nofollowDe links op deze pagina niet volgen
noneKomt overeen met noindex, nofollow
nosnippetGeen tekstsnippet en geen videovoorbeeld, ook niet in AI-overzichten en de AI-modus; een statische thumbnail kan nog wel verschijnen
max-snippet:[getal]Maximaal aantal tekens van de tekstsnippet; 0 betekent geen snippet, -1 laat de lengte aan Google over
max-image-preview:[instelling]Grootte van het afbeeldingsvoorbeeld: none, standard of large
noimageindexAfbeeldingen op de pagina niet indexeren
unavailable_after:[datum]Pagina na het opgegeven tijdstip niet meer in de zoekresultaten tonen

Spreken regels elkaar tegen, dan geldt volgens Google de meest beperkende: nosnippet wint van max-snippet:50. En ook hier geldt: robots-metatags en X-Robots-Tags worden alleen gelezen als de crawler de URL mag ophalen.

Hoe legt de canonical de leidende URL vast?

De canonical vertelt Google welke van meerdere gelijke of sterk vergelijkbare URL's jij als leidende versie beschouwt – hij verwijdert geen pagina, maar bundelt duplicaten.

Definitie · Canonicalisatie

Google definieert canonicalisatie als het proces waarbij de representatieve – canonieke – URL van een stuk content wordt gekozen. Duplicaten ontstaan volgens Google bijvoorbeeld door regionale of apparaatvarianten, door http- en https-versies, door sorteer- en filterfuncties of door per ongeluk bereikbare varianten, zoals een demoversie van de website.

Doorslaggevend is de status van de canonical: volgens Google is het opgeven van een canonieke URL een hint, geen regel. Google groepeert vergelijkbare pagina's en kiest de pagina die op basis van de verzamelde signalen het meest volledig en nuttig is – dat kan een andere zijn dan die jij hebt opgegeven. In de documentatie over het opgeven van canonieke URL's rangschikt Google de methoden naar sterkte:

  • Redirects: een sterk signaal dat het doel van de redirect canoniek moet worden.
  • rel="canonical" in de HTML: een sterk signaal voor de opgegeven URL. Als alternatief is een rel="canonical"-HTTP-header mogelijk, bijvoorbeeld voor pdf's – Google raadt aan maar één van beide vormen te gebruiken.
  • Opname in de sitemap: een zwak signaal.

Google raadt bovendien absolute in plaats van relatieve URL's in de canonical aan. Drie afbakeningen noemt Google uitdrukkelijk: de robots.txt moet niet voor canonicalisatie worden gebruikt, noindex wordt binnen een website niet aanbevolen om de keuze van de canonieke pagina te sturen, omdat het de pagina volledig uit de zoekresultaten haalt, en de tool Verwijderingen is evenmin geschikt, omdat die alle versies van een URL verbergt. Hoe duplicaten überhaupt ontstaan en hoe je ze vindt, beschrijft ons artikel over duplicate content.

Welke tool waarvoor? De beslistabel

De juiste keuze volgt uit de vraag wat je wilt bereiken: minder crawlen, niet verschijnen in de zoekresultaten of het bundelen van duplicaten.

SituatieAangewezen middelBasis
Staging- of testomgevingWachtwoordbeveiliging (aanvullend noindex mogelijk)Google noemt noindex en wachtwoordbeveiliging als manieren om een pagina uit Google te houden; de robots.txt is daarvoor ongeschikt
Filter- en sorteer-URL's zonder eigen zoekwaardeCanonical naar de hoofdpagina; bij zeer veel combinaties aanvullend een robots.txt-blokkadeGoogle noemt sorteer- en filterfuncties als typische bron van duplicaten; praktijk: robots.txt alleen als de hoeveelheid het crawlen belast
Interne zoekresultatenpagina'snoindex of robots.txt-blokkadePraktijk: noindex als er al zoekpagina's in de index staan; robots.txt als vooral het crawlen van eindeloos veel zoekopdrachten moet worden voorkomen
Inhoudelijk gelijke pagina's (bijv. printversie, http/https)Redirect of rel="canonical"Google noemt beide als sterke signalen
Pdf's en andere niet-HTML-bestandenX-Robots-Tag: noindexGoogle raadt de HTTP-header aan voor bestanden zonder HTML-head
Permanent verwijderde contentStatuscode 404 of 410Volgens de Search Console Help een van de manieren voor permanente verwijdering
Pagina die dringend weg moetTool Verwijderingen van Search Console, daarna een permanente oplossingDe tool verbergt URL's volgens Google voor ongeveer zes maanden

Voor webshops met veel filters loont een nauwkeuriger blik op de parameterlogica: onze gids over URL-parameters laat zien hoe je filters, sortering en trackingparameters netjes scheidt. De robots.txt wordt overigens ook gebruikt om AI-crawlers regels te geven – welke valkuilen daarbij op hostingniveau op de loer liggen, beschrijft ons artikel over geblokkeerde AI-crawlers bij WordPress.

Snel verwijderen met de tool Verwijderingen

Voor noodgevallen – bijvoorbeeld per ongeluk gepubliceerde gegevens – biedt Search Console de tool Verwijderingen. Een geslaagd verzoek verbergt de URL volgens Google voor ongeveer zes maanden uit de zoekresultaten; alleen eigenaren van de property kunnen de tool gebruiken. De tool is uitdrukkelijk maar een eerste stap: voor permanente verwijdering moet je de content verwijderen of wijzigen, zodat de server 404 of 410 teruggeeft, de toegang met een wachtwoord afschermen of de pagina van noindex voorzien. Een robots.txt-blokkade noemt Google niet als manier voor permanente verwijdering.

Controleren met Search Console

Of je sturing werkt zoals gepland, laat Search Console zien met drie rapporten die samen een volledig beeld geven.

  • robots.txt-rapport: het rapport toont welke robots.txt-bestanden Google voor de 20 belangrijkste hosts van je website heeft gevonden, wanneer ze voor het laatst zijn opgehaald, met welke status en met welke waarschuwingen of fouten. In noodgevallen kun je daar een nieuwe ophaalactie van het bestand aanvragen. Het rapport is alleen beschikbaar voor property's op domeinniveau.
  • URL-inspectie: voor een afzonderlijke URL toont de tool of die gecrawld mag worden, of hij geïndexeerd is, welke HTML Googlebot heeft ontvangen en welke canonieke URL Google heeft gekozen – vergeleken met de URL die jij hebt opgegeven.
  • Pagina-indexering: het rapport Pagina-indexering vat samen welke URL's om welke reden niet geïndexeerd zijn – bijvoorbeeld door een robots.txt-blokkade, een noindex-markering of omdat Google een andere URL als canoniek heeft gekozen. Verschijnt de melding dat pagina's ondanks een robots.txt-blokkade zijn geïndexeerd, dan adviseert Google: moet de pagina uit de zoekresultaten, hef de blokkade op en gebruik noindex; moet ze geïndexeerd worden, hef de blokkade op.

Een regelmatige controle van deze rapporten hoort bij ons bij elke SEO-audit.

Typische fouten bij het sturen van de indexering

De meeste indexeringsproblemen ontstaan niet door gebrek aan kennis over afzonderlijke tools, maar door een verkeerde combinatie ervan.

  • robots.txt-blokkade plus noindex: de blokkade voorkomt dat Google de noindex ziet. Resultaat: de URL kan in de index blijven.
  • robots.txt als verwijdertool: wie al geïndexeerde pagina's alleen blokkeert, verwijdert ze niet uit de index. Pas noindex (bij toegestaan crawlen) of 404/410 haalt ze permanent weg.
  • Stagingomgeving alleen via robots.txt beschermd: wordt naar de testomgeving gelinkt, dan kunnen de URL's toch opduiken. Praktijk: testomgevingen horen achter wachtwoordbeveiliging – en bij de livegang mag de blokkade niet per ongeluk mee naar de live website verhuizen.
  • Canonical en noindex op dezelfde pagina: de signalen spreken elkaar tegen – de canonical bundelt naar een andere URL, noindex haalt de pagina helemaal uit de zoekresultaten. Google raadt af om noindex te gebruiken om canonicalisatie te sturen.
  • Googlebot-groep vergeten: een eigen groep voor Googlebot vervangt de algemene regels. Blokkades die alleen in de *-groep staan, gelden dan niet meer voor Googlebot.

Veelgestelde vragen

Voorkomt een robots.txt dat een pagina in Google verschijnt?

Nee. Google schrijft uitdrukkelijk dat de robots.txt geen middel is om een pagina uit Google te houden. Een via robots.txt geblokkeerde URL kan toch in de zoekresultaten verschijnen als andere pagina's ernaar linken – dan zonder beschrijving. Om een pagina uit de index te houden, gebruik je noindex of wachtwoordbeveiliging.

Wat is het verschil tussen robots.txt en noindex?

De robots.txt bepaalt of crawlers een URL mogen ophalen. noindex bepaalt of een opgehaalde pagina in de zoekresultaten mag verschijnen. Om een noindex te kunnen zien, moet Google de pagina kunnen crawlen – ze mag dus niet tegelijk via robots.txt geblokkeerd zijn.

Is een canonical-tag een bindende instructie voor Google?

Nee. Google noemt het opgeven van een canonieke URL een hint, geen regel. Google kiest de canonieke pagina op basis van meerdere signalen en kan voor een andere URL kiezen dan jij. Redirects en de canonical-tag gelden volgens Google als sterke signalen, opname in de sitemap als een zwak signaal.

Hoe sluit ik pdf's uit van indexering?

Pdf's hebben geen HTML-head waarin een metatag past. Google raadt daarvoor de HTTP-header X-Robots-Tag met de waarde noindex aan, die je in de serverconfiguratie voor de betreffende bestanden instelt.

Hoe verwijder ik een pagina snel uit de zoekresultaten van Google?

Met de tool Verwijderingen van Search Console kunnen eigenaren van een property een URL tijdelijk verbergen – volgens Google voor ongeveer zes maanden. Voor permanente verwijdering moet je de content verwijderen (statuscode 404 of 410), met een wachtwoord beveiligen of van noindex voorzien.

Hoe groot mag een robots.txt zijn?

Google verwerkt de eerste 500 KiB van een robots.txt; content voorbij die grens wordt genegeerd. De standaard RFC 9309 eist van crawlers dat ze minstens 500 kibibyte verwerken. In de praktijk blijft een goed onderhouden robots.txt daar ruim onder.

Conclusie: eerst het doel, dan de tool

Het sturen van de indexering begint met de vraag of je het crawlen wilt beperken, een pagina uit de zoekresultaten wilt houden of duplicaten wilt bundelen. De meeste fouten ontstaan als een tool wordt ingezet voor de taak van een andere.

  • robots.txt voor het crawlen: resources sparen, geen pagina's verbergen.
  • noindex voor de indexering: alleen effectief als de pagina gecrawld mag worden; voor bestanden als X-Robots-Tag.
  • Canonical voor duplicaten: een sterke hint, maar geen garantie – controleer de keuze van Google in de URL-inspectie.
  • 404/410 en wachtwoordbeveiliging voor permanente verwijdering, de tool Verwijderingen alleen voor noodgevallen.
  • Search Console voor de controle: robots.txt-rapport, URL-inspectie en pagina-indexering regelmatig analyseren.

“robots.txt, noindex en canonical lossen drie verschillende problemen op: de robots.txt regelt wat er wordt gecrawld, noindex regelt wat er in de zoekresultaten verschijnt, en de canonical vertelt Google welke van meerdere gelijke pagina's de leidende is. Wie de tools door elkaar haalt, bereikt vaak het tegenovergestelde van wat hij wil.”

— YellowFrog SEO-Team
Sophie

Over de auteur

Sophie

SEO-strateeg bij YellowFrog – specialisaties: technische SEO, crawlen en indexering en SEO-audits.

Inhoudelijk gecontroleerd door Elena – Head of SEO

Volg YellowFrog

Algemene informatie over het sturen van crawlen en indexering in Google. Andere zoekmachines kunnen regels anders interpreteren. Aanbevelingen die als “praktijk” zijn aangeduid, zijn gebaseerd op onze projectervaring, niet op documentatie van Google. Stand van zaken: oktober 2026.

YellowFrog

Zichtbaarheid is geen toeval.

Laten we samen bekijken hoe je merk zichtbaarder wordt in Google – en in AI-antwoorden. Concreet, meetbaar, zonder buzzword-bingo.

Verder lezen & passende diensten

Passende diensten