Un file robots.txt sembra semplice, ed è proprio per questo che viene spesso usato male. Serve a dare indicazioni di scansione ai crawler, non a nascondere contenuti o a rimuovere pagine dai risultati.
La versione migliore è spesso breve. Più regole aggiungi senza una ragione chiara, più aumenta il rischio di bloccare la sezione sbagliata.
Per partire da una struttura ordinata puoi usare il Robots.txt Generator e poi tenere solo le regole che hanno un motivo reale.
Cosa dovrebbe contenere
- una regola user-agent chiara
- eventuali percorsi disallow davvero necessari
- una riga sitemap se vuoi indicare la sitemap XML
Per molti siti WordPress questo basta. Evita di copiare file lunghi da altri siti senza sapere perché esistono quelle regole.
Cosa non deve fare
robots.txt non è un sistema di privacy e non sostituisce un meta noindex. Se vuoi che una pagina non compaia nei risultati, la gestione dell’indicizzazione va fatta con il segnale corretto.
Workflow prudente
- Genera una bozza con il tool.
- Rimuovi le regole che non sai giustificare.
- Controlla che CSS, JavaScript e contenuti pubblici non vengano bloccati.
- Testa il file prima di caricarlo.
Un robots.txt utile è leggibile, intenzionale e facile da mantenere.
Lascia un commento