Le budget de crawl désigne le nombre de pages que Googlebot explorera sur votre site sur une période donnée. Sans enjeu pour les petits sites, il devient important pour les grands sites de plusieurs milliers de pages.
Qu'est-ce qui détermine le budget de crawl ?
- Limite de taux d'exploration : Google limite lui-même sa vitesse d'exploration pour ne pas surcharger votre serveur. Les serveurs les plus performants sont explorés plus rapidement.
- Demande d'exploration : la popularité et la valeur de vos pages. Les pages à forte autorité, qui reçoivent beaucoup de liens, sont explorées plus souvent.
Comment optimiser le budget de crawl
- Bloquez les URL à faible valeur via robots.txt : navigation à facettes, paramètres d'identifiant de session, versions imprimables, etc.
- Corrigez les erreurs d'exploration : les pages en 4xx et 5xx gaspillent du budget de crawl
- Supprimez les chaînes de redirections : chaque redirection supplémentaire consomme du budget de crawl
- Regroupez le contenu paginé : utilisez rel=canonical sur les pages paginées si leur contenu est quasi dupliqué
- Supprimez ou mettez en noindex les pages minces et de faible qualité que Google n'a pas à explorer
Où le surveiller
Consultez le rapport Statistiques sur l'exploration dans Search Console (Paramètres > Statistiques sur l'exploration) pour suivre l'évolution de l'activité d'exploration.