Il crawl budget è il numero di pagine che Googlebot scansiona sul tuo sito in un dato periodo. Non è un problema per i siti piccoli, ma diventa importante per i siti grandi con migliaia di pagine.
Da cosa dipende il crawl budget?
- Limite della frequenza di scansione: Google si autolimita nella velocità di scansione per non sovraccaricare il tuo server. I server più performanti vengono scansionati più in fretta.
- Domanda di scansione: quanto sono popolari e preziose le tue pagine. Le pagine molto autorevoli e con tanti link vengono scansionate più spesso.
Come ottimizzare il crawl budget
- Blocca gli URL di poco valore tramite robots.txt: navigazione a faccette, parametri con ID di sessione, versioni per la stampa e così via.
- Correggi gli errori di scansione: le pagine 4xx e 5xx sprecano crawl budget
- Elimina le catene di redirect: ogni salto di redirect consuma crawl budget
- Consolida i contenuti paginati: usa rel=canonical sulle pagine paginate se il contenuto è quasi duplicato
- Rimuovi o metti in noindex le pagine sottili e di bassa qualità che Google non dovrebbe scansionare
Dove monitorarlo
Controlla il report Statistiche di scansione in Search Console (Impostazioni > Statistiche di scansione) per vedere l'andamento dell'attività di scansione.