Un fichier robots.txt paraît simple, et c’est pour cela qu’il est souvent mal utilisé. Il sert à donner des indications d’exploration aux robots, pas à cacher du contenu ni à supprimer des pages des résultats.
La meilleure version est souvent courte. Plus vous ajoutez de règles sans raison claire, plus vous risquez de bloquer la mauvaise section.
Pour partir d’une structure propre, utilisez le Générateur robots.txt, puis gardez uniquement les règles que vous pouvez justifier.
Ce qu’il devrait contenir
- une règle user-agent claire
- les chemins disallow réellement nécessaires
- une ligne sitemap si vous voulez indiquer le sitemap XML
Pour beaucoup de sites WordPress, cela suffit. Évitez de copier de longs fichiers depuis d’autres sites sans comprendre leurs règles.
Ce qu’il ne doit pas faire
robots.txt n’est pas un système de confidentialité et ne remplace pas une balise noindex. Pour empêcher l’indexation d’une page, utilisez le signal adapté.
Un workflow prudent
- Générez un brouillon avec l’outil.
- Supprimez les règles que vous ne pouvez pas expliquer.
- Vérifiez que CSS, JavaScript et contenu public ne sont pas bloqués.
- Testez le fichier avant de le mettre en ligne.
Un robots.txt utile est lisible, intentionnel et facile à maintenir.
Laisser un commentaire