Votre fichier robots.txt indique aux robots d'exploration des moteurs de recherche quelles pages ils peuvent (ou ne peuvent pas) explorer. Voici son lien avec Google Search Console :
Vérifier votre robots.txt
Ouvrez https://yourdomain.com/robots.txt directement dans votre navigateur. Vous devriez voir un fichier en texte brut.
Vérifier si une page précise est bloquée
Utilisez l'outil d'inspection d'URL de Search Console : il indique explicitement si une page est « Bloquée par le fichier robots.txt » dans la section des détails d'exploration.
Bonnes pratiques pour robots.txt
- Ne bloquez PAS les pages que vous voulez indexer (y compris les fichiers CSS et JS)
- Bloquez les panneaux d'administration, les pages de connexion, les pages de remerciement et les URL à paramètres dupliquées
- Indiquez l'URL de votre sitemap dans robots.txt :
Sitemap: https://yourdomain.com/sitemap.xml - N'utilisez jamais robots.txt pour masquer une page de la recherche : utilisez plutôt noindex (les pages bloquées peuvent quand même apparaître dans la recherche si des liens pointent vers elles)
Testeur robots.txt
Google a retiré le testeur robots.txt de Search Console en 2022. Vous pouvez utiliser le testeur robots.txt autonome ou des outils tiers.