Eine robots.txt-Datei wirkt einfach und wird gerade deshalb oft falsch eingesetzt. Sie gibt Crawlern Hinweise zum Crawling, versteckt aber keine Inhalte und entfernt Seiten nicht zuverlässig aus Suchergebnissen.
Die beste Version ist häufig kurz. Je mehr Regeln ohne klaren Grund hinzukommen, desto größer wird das Risiko, den falschen Bereich zu blockieren.
Für einen sauberen Start können Sie den Robots.txt-Generator verwenden und danach nur die Regeln behalten, die wirklich nötig sind.
Was hineingehört
- eine klare User-Agent-Regel
- nur wirklich notwendige Disallow-Pfade
- eine Sitemap-Zeile, wenn die XML-Sitemap angegeben werden soll
Für viele WordPress-Seiten reicht das. Kopieren Sie keine langen Vorlagen aus anderen Projekten, wenn Sie die Regeln nicht erklären können.
Was robots.txt nicht leisten soll
robots.txt ist kein Datenschutzsystem und ersetzt kein noindex. Wenn eine Seite nicht indexiert werden soll, braucht sie das passende Indexierungssignal.
Ein vorsichtiger Ablauf
- Erstellen Sie einen Entwurf mit dem Tool.
- Entfernen Sie Regeln, die Sie nicht begründen können.
- Prüfen Sie, dass CSS, JavaScript und öffentliche Inhalte nicht blockiert werden.
- Testen Sie die Datei vor dem Upload.
Eine gute robots.txt ist lesbar, bewusst gesetzt und leicht zu pflegen.
Schreibe einen Kommentar