Outil SEO
Générateur de Robots.txt
Générez une base robots.txt propre avec user-agent, allow, disallow et sitemap pour les configurations courantes de contrôle du crawl.
Zone Outil
Tout fonctionne dans le navigateur.
Utilisez ce générateur robots.txt lorsque vous avez besoin d’un brouillon lisible pour un lancement, une migration, un environnement de staging ou une livraison client. Il garde la syntaxe courante propre, mais les règles doivent toujours être relues avant l’envoi, car robots.txt peut influencer la façon dont les moteurs explorent des sections importantes du site.
- Ne bloquez pas CSS, JavaScript ou du contenu important sans certitude.
- Utilisez les balises noindex pour les décisions d'indexation ; robots.txt contrôle surtout l'exploration.
- Ajoutez la ligne sitemap si vous voulez aider les robots à découvrir plus vite votre sitemap XML.
Comment l’utiliser
- Choisissez le user-agent, généralement * pour une règle large.
- Ajoutez les valeurs allow, disallow et sitemap uniquement lorsqu'elles sont nécessaires.
- Copiez la sortie robots.txt générée et testez-la avant le déploiement.
Cas d’usage courants
- Préparer un fichier robots.txt de départ pour un nouveau site.
- Créer des exemples de contrôle du crawl pour clients, sites de staging ou migrations.
- Éviter les erreurs de formatage de base lors de l'ajout d'une sitemap ou de règles disallow.
FAQ
Couvre-t-il les règles robots avancées ?
Non. Il est conçu pour les modèles courants de départ, pas pour toutes les directives avancées.
robots.txt peut-il retirer une page de Google ?
Pas de façon fiable. Il peut empêcher l'exploration, mais noindex est le signal le plus clair pour exclure une page des résultats.
Puis-je laisser certains champs vides ?
Oui. Les champs vides sont ignorés dans la sortie.