Robots.txt, noindex und Canonical: Wie Sie Crawling und Indexierung gezielt steuern – und welches Werkzeug wofür gedacht ist

In technischen Audits sehen wir regelmäßig dieselbe Verwechslung: Eine Seite soll aus Google verschwinden, also wird sie in der robots.txt gesperrt – und taucht trotzdem weiter in den Suchergebnissen auf. robots.txt, noindex und Canonical sind drei unterschiedliche Werkzeuge mit drei unterschiedlichen Aufgaben: Die robots.txt steuert das Crawling, noindex die Indexierung und der Canonical die Auswahl der maßgeblichen URL unter Duplikaten. Wer weiß, welches Werkzeug wofür gedacht ist, vermeidet die häufigsten Fehler der Indexierungssteuerung.

Dieser Leitfaden erklärt die drei Werkzeuge anhand der Google-Dokumentation und des Standards RFC 9309 – mit Entscheidungstabelle und Prüfroutine für die Search Console.

Vertiefung: Technical SEO bei YellowFrog

Drei Werkzeuge, drei Aufgaben

Die Steuerung von Suchmaschinen setzt an drei verschiedenen Stellen an: beim Abruf einer URL, bei der Aufnahme in den Index und bei der Auswahl zwischen mehreren gleichen Seiten.

Was die robots.txt kann – und was nicht

Die robots.txt ist eine Textdatei, mit der Sie Crawlern mitteilen, welche Bereiche Ihrer Website sie abrufen dürfen und welche nicht.

Google beschreibt den Zweck in der Einführung in robots.txt eindeutig: Die Datei dient hauptsächlich dazu, eine Überlastung der Website durch Anfragen zu vermeiden. Sie ist laut Google kein Mechanismus, um eine Webseite aus Google herauszuhalten. Wird eine gesperrte Seite von anderen Seiten verlinkt, kann ihre URL trotzdem in den Suchergebnissen erscheinen – dann ohne Beschreibung, weil Google den Inhalt nicht abrufen durfte.

Google nennt zudem drei Grenzen der robots.txt:

• Freiwilligkeit: Nicht alle Suchmaschinen unterstützen die Regeln.
• Unterschiedliche Auslegung: Verschiedene Crawler interpretieren die Syntax unterschiedlich.
• Verlinkung: Eine gesperrte Seite kann indexiert werden, wenn andere Websites auf sie verlinken.

Auch der Standard selbst stellt klar, dass die robots.txt keine Zugriffskontrolle ist. RFC 9309, der im September 2022 veröffentlichte Standard zum Robots Exclusion Protocol, hält fest, dass die Regeln keine Form der Zugriffsautorisierung sind und keine echten Sicherheitsmaßnahmen ersetzen. Weil die Datei öffentlich ist, macht ein dort eingetragener Pfad ihn sogar erst auffindbar. Vertrauliches gehört hinter einen Login.

Sinnvoll ist die robots.txt dort, wo Crawler Zeit mit URLs verschwenden, die keinen Suchwert haben – etwa unendliche Kombinationen aus Filter- und Sortierparametern. Ob das bei Ihrer Website überhaupt ins Gewicht fällt, erklärt unser Beitrag zum Crawl-Budget. CSS-, JavaScript- und Bilddateien, die Google zum Verständnis einer Seite braucht, sollten Sie dagegen nicht sperren.

Syntax und Regeln der robots.txt

Eine robots.txt besteht aus Gruppen, die jeweils mit einer user-agent-Zeile beginnen und darunter die Regeln für diesen Crawler auflisten.

# Regeln für alle Crawler
User-agent: *
Disallow: /suche
Disallow: /*?sortierung=
Allow: /suche/hilfe

# Eigene Gruppe nur für Googlebot
User-agent: Googlebot
Disallow: /intern-test/

Sitemap: https://www.example.com/sitemap.xml

Ort und Geltungsbereich

Laut Googles Anleitung zum Erstellen einer robots.txt muss die Datei robots.txt heißen, im Stammverzeichnis des Hosts liegen und als UTF-8-Textdatei vorliegen; eine Website kann nur eine robots.txt haben. Die Regeln gelten nur für das Protokoll, den Host und den Port, unter dem die Datei abgerufen wird. Eine Subdomain wie shop.example.com braucht deshalb eine eigene Datei, und die Datei unter http:// gilt nicht automatisch für https://. Pfade in den Regeln unterscheiden Groß- und Kleinschreibung: Eine Regel für /datei.asp erfasst /DATEI.asp nicht.

Unterstützte Felder

Google unterstützt laut seiner Spezifikation vier Felder: user-agent, allow, disallow und sitemap. Andere Felder wie crawl-delay werden von Google nicht unterstützt und ignoriert. Ein Crawler folgt genau einer Gruppe – derjenigen mit dem spezifischsten passenden user-agent. Eine eigene Gruppe für Googlebot ersetzt also die Regeln der Gruppe für alle Crawler, sie ergänzt sie nicht. Praxis: Wer eine Googlebot-Gruppe anlegt, muss dort alle Sperren wiederholen, die auch für Googlebot gelten sollen.

Platzhalter und Vorrangregel

Google wertet zwei Platzhalter aus: Das Sternchen * steht für null oder mehr beliebige Zeichen, das Dollarzeichen $ markiert das Ende der URL. Disallow: /*.pdf$ sperrt so alle URLs, die auf .pdf enden. Passen mehrere Regeln auf dieselbe URL, gewinnt bei Google die spezifischste Regel, gemessen an der Länge des Regelpfads. Bei gleich spezifischen, widersprüchlichen Regeln wendet Google die am wenigsten einschränkende an. RFC 9309 formuliert das gleich: Der längste Treffer gewinnt, und bei gleichwertigen allow- und disallow-Regeln soll allow verwendet werden. Im Beispiel oben bleibt /suche/hilfe deshalb erreichbar, obwohl /suche gesperrt ist.

Größe, Caching und Statuscodes

Die technischen Rahmenbedingungen entscheiden darüber, ob Ihre Regeln überhaupt greifen. Google verarbeitet laut Spezifikation höchstens 500 KiB einer robots.txt und speichert ihren Inhalt in der Regel bis zu 24 Stunden zwischen. Besonders wichtig ist das Verhalten bei Fehlern:

RFC 9309 sieht für Serverfehler sogar vor, dass Crawler eine vollständige Sperre annehmen müssen. Die Konsequenz für die Praxis: Eine robots.txt, die wegen eines Serverproblems mit 5xx antwortet, kann das Crawling Ihrer gesamten Website ausbremsen. Ein dauerhaft korrekter Statuscode 200 für die robots.txt gehört deshalb zu den Basics jedes technischen Setups.

noindex: Seiten aus den Suchergebnissen heraushalten

noindex ist die Anweisung an Suchmaschinen, eine Seite oder Datei nicht in den Suchergebnissen anzuzeigen – unabhängig davon, ob sie von anderen Websites verlinkt wird.

Laut Googles Dokumentation Indexierung mit noindex blockieren entfernt Google eine Seite vollständig aus den Suchergebnissen, sobald Googlebot die Regel beim Crawlen liest. Es gibt zwei gleichwertige Wege:

<!-- Variante 1: Meta-Tag im <head> einer HTML-Seite -->
<meta name="robots" content="noindex">

# Variante 2: HTTP-Header, z. B. für PDFs
X-Robots-Tag: noindex

Mit name="robots" richtet sich die Regel an alle Suchmaschinen, die sie unterstützen; mit name="googlebot" nur an Google. Der HTTP-Header X-Robots-Tag ist laut Google die Lösung für Dateien ohne HTML-Kopfbereich, etwa PDFs, Video- oder Bilddateien.

Wie schnell eine Seite verschwindet, hängt davon ab, wann Google sie erneut crawlt. Google nennt dafür keinen festen Zeitraum; bei weniger wichtigen Seiten kann es laut Dokumentation lange dauern. Über das URL-Prüftool der Search Console können Sie einen erneuten Crawl anfordern und kontrollieren, ob Googlebot die noindex-Regel im ausgelieferten HTML sieht.

Weitere Regeln im Robots-Meta-Tag

Neben noindex kennt Google weitere Regeln für das Robots-Meta-Tag und den X-Robots-Tag. Die wichtigsten:

Widersprechen sich Regeln, gilt laut Google die einschränkendere: nosnippet setzt sich gegen max-snippet:50 durch. Und auch hier gilt: Robots-Meta-Tags und X-Robots-Tags werden nur gelesen, wenn der Crawler die URL abrufen darf.

Canonical: die maßgebliche URL festlegen

Der Canonical teilt Google mit, welche von mehreren gleichen oder sehr ähnlichen URLs Sie als maßgebliche Version ansehen – er entfernt keine Seite, sondern bündelt Duplikate.

Entscheidend ist der Status des Canonicals: Laut Google ist die Angabe einer kanonischen URL ein Hinweis, keine Regel. Google gruppiert ähnliche Seiten und wählt diejenige, die anhand der gesammelten Signale am vollständigsten und nützlichsten ist – das kann eine andere sein als die von Ihnen angegebene. In der Dokumentation zum Angeben kanonischer URLs ordnet Google die Methoden nach Stärke:

• Weiterleitungen: ein starkes Signal, dass das Ziel der Weiterleitung kanonisch werden soll.
• rel="canonical" im HTML: ein starkes Signal für die angegebene URL. Alternativ ist ein rel="canonical"-HTTP-Header möglich, etwa für PDFs – Google rät, nur eine der beiden Formen zu verwenden.
• Aufnahme in die Sitemap: ein schwaches Signal.

Google empfiehlt außerdem absolute statt relativer URLs im Canonical. Drei Abgrenzungen nennt Google ausdrücklich: Die robots.txt soll nicht zur Kanonisierung genutzt werden, noindex ist innerhalb einer Website nicht empfohlen, um die Auswahl der kanonischen Seite zu steuern, weil es die Seite komplett aus der Suche nimmt, und das Entfernen-Tool ist ebenfalls ungeeignet, weil es alle Versionen einer URL ausblendet. Wie Duplikate überhaupt entstehen und wie Sie sie finden, beschreibt unser Beitrag zu Duplicate Content.

Welches Werkzeug wofür? Die Entscheidungstabelle

Die richtige Wahl ergibt sich aus der Frage, was Sie erreichen wollen: weniger Crawling, kein Erscheinen in der Suche oder eine Bündelung von Duplikaten.

Für Shops mit vielen Filtern lohnt ein genauerer Blick auf die Parameterlogik: Unser Leitfaden zu URL-Parametern zeigt, wie Sie Filter, Sortierung und Tracking-Parameter sauber trennen. Die robots.txt wird übrigens auch genutzt, um KI-Crawlern Regeln zu geben – welche Fallstricke dabei auf Hosting-Ebene lauern, beschreibt unser Beitrag zu blockierten KI-Crawlern bei WordPress.

Schnell entfernen mit dem Entfernen-Tool

Für Notfälle – etwa versehentlich veröffentlichte Daten – bietet die Search Console das Entfernen-Tool. Ein erfolgreicher Antrag blendet die URL laut Google für etwa sechs Monate aus den Suchergebnissen aus; nutzen können es nur Inhaber der Property. Das Tool ist ausdrücklich nur ein erster Schritt: Für eine dauerhafte Entfernung müssen Sie den Inhalt löschen oder ändern, sodass der Server 404 oder 410 liefert, den Zugriff per Passwort sperren oder die Seite mit noindex auszeichnen. Eine robots.txt-Sperre nennt Google nicht als Weg zur dauerhaften Entfernung.

Prüfen mit der Search Console

Ob Ihre Steuerung so wirkt wie geplant, zeigt die Search Console mit drei Berichten, die zusammen ein vollständiges Bild ergeben.

• robots.txt-Bericht: Der Bericht zeigt, welche robots.txt-Dateien Google für die 20 wichtigsten Hosts Ihrer Website gefunden hat, wann sie zuletzt abgerufen wurden, mit welchem Status und mit welchen Warnungen oder Fehlern. In Notfällen können Sie dort einen erneuten Abruf der Datei anfordern. Der Bericht steht nur für Properties auf Domainebene zur Verfügung.
• URL-Prüfung: Für eine einzelne URL zeigt das Tool, ob sie gecrawlt werden darf, ob sie indexiert ist, welches HTML Googlebot erhalten hat und welche kanonische URL Google gewählt hat – im Vergleich zu der von Ihnen angegebenen.
• Seitenindexierung: Der Bericht zur Seitenindexierung fasst zusammen, welche URLs aus welchem Grund nicht indexiert sind – etwa wegen einer robots.txt-Sperre, einer noindex-Markierung oder weil Google eine andere URL als kanonisch gewählt hat. Taucht der Hinweis auf, dass Seiten trotz robots.txt-Sperre indexiert wurden, empfiehlt Google: Soll die Seite aus der Suche, die Sperre aufheben und noindex verwenden; soll sie indexiert werden, die Sperre aufheben.

Eine regelmäßige Kontrolle dieser Berichte gehört bei uns zu jedem SEO-Audit.

Typische Fehler bei der Indexierungssteuerung

Die meisten Indexierungsprobleme entstehen nicht durch fehlendes Wissen über einzelne Werkzeuge, sondern durch ihre falsche Kombination.

• robots.txt-Sperre plus noindex: Die Sperre verhindert, dass Google das noindex sieht. Ergebnis: Die URL kann im Index bleiben.
• robots.txt als Löschwerkzeug: Wer bereits indexierte Seiten nur sperrt, entfernt sie nicht aus dem Index. Erst noindex (bei erlaubtem Crawling) oder 404/410 beseitigt sie dauerhaft.
• Staging-Umgebung nur per robots.txt geschützt: Wird die Testumgebung verlinkt, können ihre URLs trotzdem auftauchen. Praxis: Testumgebungen gehören hinter einen Passwortschutz – und beim Livegang darf die Sperre nicht versehentlich mit auf die Live-Website wandern.
• Canonical und noindex auf derselben Seite: Die Signale widersprechen sich – der Canonical bündelt auf eine andere URL, noindex nimmt die Seite ganz aus der Suche. Google rät von noindex zur Steuerung der Kanonisierung ab.
• Googlebot-Gruppe vergessen: Eine eigene Gruppe für Googlebot ersetzt die allgemeinen Regeln. Sperren, die nur in der *-Gruppe stehen, gelten dann nicht mehr für Googlebot.

Häufige Fragen

Verhindert eine robots.txt, dass eine Seite bei Google erscheint?

Nein. Google schreibt ausdrücklich, dass die robots.txt kein Mittel ist, um eine Seite aus Google herauszuhalten. Eine per robots.txt gesperrte URL kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken – dann ohne Beschreibung. Um eine Seite aus dem Index zu halten, nutzen Sie noindex oder einen Passwortschutz.

Was ist der Unterschied zwischen robots.txt und noindex?

Die robots.txt steuert, ob Crawler eine URL abrufen dürfen. noindex steuert, ob eine abgerufene Seite in den Suchergebnissen erscheinen darf. Damit Google ein noindex sieht, muss die Seite gecrawlt werden können – sie darf also nicht gleichzeitig per robots.txt gesperrt sein.

Ist ein Canonical-Tag eine verbindliche Anweisung für Google?

Nein. Google bezeichnet die Angabe einer kanonischen URL als Hinweis, nicht als Regel. Google wählt die kanonische Seite anhand mehrerer Signale und kann sich für eine andere URL entscheiden als Sie. Weiterleitungen und das Canonical-Tag gelten laut Google als starke Signale, die Aufnahme in die Sitemap als schwaches.

Wie schließe ich PDFs von der Indexierung aus?

PDFs haben keinen HTML-Kopfbereich, in den ein Meta-Tag passt. Google empfiehlt dafür den HTTP-Header X-Robots-Tag mit dem Wert noindex, den Sie in der Serverkonfiguration für die betreffenden Dateien setzen.

Wie entferne ich eine Seite schnell aus den Google-Suchergebnissen?

Mit dem Entfernen-Tool der Search Console können Inhaber einer Property eine URL vorübergehend ausblenden – laut Google für etwa sechs Monate. Für eine dauerhafte Entfernung müssen Sie den Inhalt löschen (Statuscode 404 oder 410), mit einem Passwort schützen oder mit noindex auszeichnen.

Wie groß darf eine robots.txt sein?

Google verarbeitet die ersten 500 KiB einer robots.txt; Inhalte jenseits dieser Grenze werden ignoriert. Der Standard RFC 9309 verlangt von Crawlern, mindestens 500 Kibibyte zu verarbeiten. In der Praxis bleibt eine gut gepflegte robots.txt weit darunter.

Fazit: erst das Ziel, dann das Werkzeug

Indexierungssteuerung beginnt mit der Frage, ob Sie Crawling reduzieren, eine Seite aus der Suche heraushalten oder Duplikate bündeln wollen. Die meisten Fehler entstehen, wenn ein Werkzeug für die Aufgabe eines anderen eingesetzt wird.

• robots.txt für das Crawling: Ressourcen schonen, nicht Seiten verstecken.
• noindex für die Indexierung: nur wirksam, wenn die Seite gecrawlt werden darf; für Dateien als X-Robots-Tag.
• Canonical für Duplikate: ein starker Hinweis, aber keine Garantie – prüfen Sie Googles Wahl in der URL-Prüfung.
• 404/410 und Passwortschutz für das dauerhafte Entfernen, das Entfernen-Tool nur für den Notfall.
• Search Console für die Kontrolle: robots.txt-Bericht, URL-Prüfung und Seitenindexierung regelmäßig auswerten.