Strumento SEO
Generatore di Robots.txt
Genera una base pulita per robots.txt con user-agent, allow, disallow e sitemap per configurazioni comuni di crawl control.
Area Tool
Tutto gira nel browser.
Usa questo generatore robots.txt quando ti serve una bozza leggibile per un lancio, una migrazione, un ambiente staging o un passaggio al cliente. Mantiene ordinata la sintassi più comune, ma le regole vanno comunque riviste prima dell’upload perché robots.txt può influenzare il modo in cui i motori di ricerca scansionano sezioni importanti del sito.
- Non bloccare CSS, JavaScript o contenuti importanti se non sei sicuro.
- Usa meta tag noindex per le decisioni di indicizzazione; robots.txt controlla soprattutto la scansione.
- Aggiungi la riga sitemap quando vuoi aiutare i crawler a trovare più rapidamente la sitemap XML.
Come si usa
- Scegli lo user-agent, di solito * per una regola generale.
- Aggiungi valori allow, disallow e sitemap solo dove servono davvero.
- Copia l'output robots.txt generato e testalo prima della pubblicazione.
Casi d’uso comuni
- Preparare un robots.txt iniziale per un nuovo sito.
- Creare esempi di crawl control per clienti, staging o migrazioni.
- Evitare errori base di formattazione quando aggiungi sitemap o regole disallow.
FAQ
Copre anche regole robots avanzate?
No. È pensato per pattern iniziali comuni, non per ogni direttiva avanzata.
robots.txt può rimuovere una pagina da Google?
Non in modo affidabile. Può fermare la scansione, ma noindex è il segnale più pulito quando vuoi tenere una pagina fuori dai risultati.
Posso lasciare vuoti alcuni campi?
Sì. I campi vuoti vengono saltati nell'output.