Robots.txt ist schnell geändert, wird aber leicht missverstanden. Eine zu breite Regel kann Crawler von Seiten, Ordnern oder Dateien fernhalten, die sichtbar bleiben sollten.
Nutzen Sie den Robots.txt-Generator für einfache Entwürfe und vergleichen Sie ihn mit dem Aufbau einer einfachen robots.txt-Datei.
Fehler 1: zu viel blockieren
Regeln wie Disallow: / oder sehr breite Ordnerregeln können wichtige Seiten vom Crawling ausschließen. Nutzen Sie genaue Pfade und prüfen Sie die Wirkung.
Fehler 2: robots.txt als noindex verwenden
Robots.txt steuert Crawling, ist aber nicht dasselbe wie ein Meta-Robots-noindex. Wenn eine Seite aus Suchergebnissen verschwinden soll, braucht sie eine passende Noindex-Lösung.
Fehler 3: Assets blockieren
Blockierte CSS-, JavaScript- oder Bildordner können das Verständnis der Seite erschweren. Testen Sie wichtige Seiten nach jeder Änderung.
Schreibe einen Kommentar