SEO-Tool
Robots.txt-Generator
Erstellen Sie eine saubere robots.txt-Grundlage mit User-Agent, Allow, Disallow und Sitemap für typische Crawl-Control-Setups.
Tool-Bereich
Alles lauft im Browser.
Nutzen Sie diesen robots.txt-Generator, wenn Sie einen lesbaren Entwurf für Launch, Migration, Staging-Umgebung oder Kundenübergabe brauchen. Er hält die häufige Syntax ordentlich, trotzdem sollten Regeln vor dem Upload geprüft werden, weil robots.txt beeinflussen kann, wie Suchmaschinen wichtige Bereiche einer Website crawlen.
- Blockieren Sie CSS, JavaScript oder wichtige Inhalte nur, wenn Sie sicher sind.
- Verwenden Sie noindex-Meta-Tags für Indexierungsentscheidungen; robots.txt steuert vor allem das Crawling.
- Fügen Sie eine Sitemap-Zeile hinzu, wenn Crawler Ihre XML-Sitemap schneller finden sollen.
So wird es benutzt
- Wählen Sie den User-Agent, meist * für eine allgemeine Regel.
- Fügen Sie Allow-, Disallow- und Sitemap-Werte nur dort hinzu, wo sie wirklich benötigt werden.
- Kopieren Sie die erzeugte robots.txt-Ausgabe und testen Sie sie vor dem Deployment.
Typische Anwendungsfalle
- Eine erste robots.txt-Datei für eine neue Website entwerfen.
- Crawl-Control-Beispiele für Kunden, Staging-Websites oder Migrationen vorbereiten.
- Grundlegende Formatierungsfehler bei Sitemap- oder Disallow-Regeln vermeiden.
FAQ
Deckt es auch fortgeschrittene robots-Regeln ab?
Nein. Es ist für häufige Startmuster gedacht, nicht für jede fortgeschrittene Direktive.
Kann robots.txt eine Seite aus Google entfernen?
Nicht zuverlässig. Es kann Crawling verhindern, aber noindex ist das klarere Signal, wenn eine Seite nicht in Suchergebnissen erscheinen soll.
Kann ich einige Felder leer lassen?
Ja. Leere Felder werden in der Ausgabe übersprungen.