SEO-Tool
Robots.txt-Generator
Erstellen Sie online eine grundlegende robots.txt-Datei mit sauberen Crawling-Direktiven.
Nutzen Sie diesen robots.txt-Generator, wenn Sie einen lesbaren Entwurf für Launch, Migration, Staging-Umgebung oder Kundenübergabe brauchen. Er hält die häufige Syntax ordentlich, trotzdem sollten Regeln vor dem Upload geprüft werden, weil robots.txt beeinflussen kann, wie Suchmaschinen wichtige Bereiche einer Website crawlen.
Lauft im Browser
Keine Anmeldung
Sofortiges Ergebnis
Tool-Bereich
Alles lauft im Browser.
So wird es benutzt
- Wählen Sie den User-Agent, meist * für eine allgemeine Regel.
- Fügen Sie Allow-, Disallow- und Sitemap-Werte nur dort hinzu, wo sie wirklich benötigt werden.
- Kopieren Sie die erzeugte robots.txt-Ausgabe und testen Sie sie vor dem Deployment.
Typische Anwendungsfalle
- Eine erste robots.txt-Datei für eine neue Website entwerfen.
- Crawl-Control-Beispiele für Kunden, Staging-Websites oder Migrationen vorbereiten.
- Grundlegende Formatierungsfehler bei Sitemap- oder Disallow-Regeln vermeiden.
FAQ
Deckt es auch fortgeschrittene robots-Regeln ab?
Nein. Es ist für häufige Startmuster gedacht, nicht für jede fortgeschrittene Direktive.
Kann robots.txt eine Seite aus Google entfernen?
Nicht zuverlässig. Es kann Crawling verhindern, aber noindex ist das klarere Signal, wenn eine Seite nicht in Suchergebnissen erscheinen soll.
Kann ich einige Felder leer lassen?
Ja. Leere Felder werden in der Ausgabe übersprungen.