Robots.txt est simple à modifier, mais facile à mal interpréter. Une règle trop large peut empêcher les robots d’accéder à des pages, dossiers ou ressources qui devraient rester visibles.
Utilisez le Générateur robots.txt pour préparer une base, puis comparez avec ce qu’un fichier robots.txt de base doit contenir.
Erreur 1 : bloquer trop large
Des règles comme Disallow: / ou des dossiers trop larges peuvent bloquer des pages importantes. Utilisez des chemins précis et vérifiez ce qui est vraiment couvert.
Erreur 2 : l’utiliser comme noindex
Robots.txt contrôle le crawl, ce n’est pas la même chose qu’une balise noindex. Si une page doit sortir des résultats, il faut une vraie stratégie noindex.
Erreur 3 : bloquer les ressources
Bloquer CSS, JavaScript ou images peut compliquer la compréhension de la page. Testez les pages importantes après chaque changement.
Laisser un commentaire