Robots.txt –
Der unsichtbare Ordnungshelfer für Ihre Website

Wenn Suchmaschinen Ihre Website besuchen, haben sie ein Ziel: alles finden, alles indexieren.

Doch was, wenn es Bereiche gibt, die nicht durchsucht werden sollen?

Genau hier kommt ein stiller Held ins Spiel: die robots.txt-Datei.

Sie ist klein, unscheinbar – aber extrem wichtig, um Struktur und Kontrolle in die Sichtbarkeit Ihrer Website zu bringen.

Was genau ist die robots.txt?

Stellen Sie sich vor, Ihre Website ist wie ein Bürogebäude. Die Suchmaschinen-Bots sind Besucher, die neugierig durch jeden Raum laufen.

Mit der robots.txt hängen Sie Schilder an bestimmte Türen, auf denen steht: „Zutritt erlaubt“ oder „Bitte draußen bleiben“.

So vermeiden Sie, dass:

Crawl-Budget sinnvoll nutzen: Nur wichtige Seiten werden besucht und indexiert.
Unnötige Inhalte raushalten: Nicht jeder interne Bereich soll öffentlich sein.
Struktur behalten: Gerade bei großen Websites bleibt so alles sauber und übersichtlich.

Mach einen Seiten-Check: Welche Seiten sollen öffentlich sein – und welche lieber nicht?
Aufpassen bei „Disallow“: Ein falscher Eintrag kann Google aus Versehen komplett aussperren.
Testen, testen, testen: Die Google Search Console bietet ein Tool, mit dem Sie Ihre robots.txt prüfen können.