Robots.txt è facile da modificare e facile da fraintendere. Una regola troppo larga può impedire ai crawler di raggiungere pagine, cartelle o file che dovrebbero restare visibili.
Usa il Generatore robots.txt per una bozza semplice, poi confrontala con cosa inserire in un robots.txt di base.
Errore 1: bloccare troppo
Regole come Disallow: / o blocchi di cartelle troppo ampi possono togliere dalla scansione pagine importanti. Usa percorsi specifici e controlla cosa includono davvero.
Errore 2: usarlo come noindex
Robots.txt controlla la scansione, non è uguale a un meta robots noindex. Se una pagina deve uscire dai risultati, serve una strategia noindex corretta.
Errore 3: bloccare risorse
Bloccare CSS, JavaScript o immagini può rendere più difficile interpretare la pagina. Dopo ogni modifica, verifica le pagine importanti.
Lascia un commento