robots.txt und Sitemap: die zwei Dateien, die den Zugang steuern

Der Prüfer sieht nach, ob die robots.txt eine Sitemap benennt und ob diese erreichbar ist. Die robots.txt steuert, was abgerufen werden darf; die Sitemap sagt, was es überhaupt gibt — zwei verschiedene Aufgaben, die oft verwechselt werden.

Was dazu geprüft wird

1 Prüfpunkte aus dem Indexierungs-Regelwerk des Prüfdienstes — die Liste stammt aus dem Messkern, nicht aus diesem Text.

robots.txt-Sitemap erreichbar · robots-sitemap

Jeder dieser Punkte steht mit Erklärung in der vollständigen Prüfpunktliste.

Worauf es in der Praxis ankommt

Der häufigste Fehler ist ein Verweis auf eine Sitemap, die es nicht mehr gibt oder die auf einem anderen Host liegt. Der Prüfer meldet beides, weil ein toter Verweis dieselbe Wirkung hat wie gar keiner.

Der zweithäufigste ist ein Ausschluss, der zu viel sperrt — etwa ein Verzeichnis mit Stilvorlagen und Skripten. Suchmaschinen können die Seite dann nicht richtig darstellen und bewerten sie entsprechend.

Der Prüfdienst hält sich selbst an diese Datei: Adressen, die sie für seinen Produkt-Token sperrt, ruft er nicht ab — und weist den Ausschluss im Ergebnis ausdrücklich aus, statt ihn als fehlenden Inhalt darzustellen.

Häufige Fragen

Muss die Sitemap in der robots.txt stehen?

Vorgeschrieben ist es nicht, aber es ist der zuverlässigste Weg, sie bekannt zu machen — unabhängig davon, ob sie zusätzlich in einem Werkzeug hinterlegt wurde.

Was passiert, wenn die robots.txt fehlt?

Dann gilt alles als erlaubt. Das ist kein Fehler; nur der Verweis auf die Sitemap fehlt dann, und gezielte Ausschlüsse sind nicht möglich.

Sperrt die robots.txt eine Seite aus dem Index?

Nein — sie verbietet nur den Abruf. Eine gesperrte Seite kann trotzdem im Index landen, dann ohne Inhalt. Zum Ausschluss aus dem Index dient noindex, das die Suchmaschine aber nur liest, wenn sie die Seite abrufen darf.

Weitere Themen aus Technik

Website prüfen lassen Erst das Prüfverfahren verstehen →