Budżet indeksowania (crawl budget) to liczba stron, które Googlebot przeskanuje w Twojej witrynie w danym okresie. Dla małych witryn nie jest problemem, ale staje się ważny w dużych serwisach z tysiącami stron.
Od czego zależy budżet indeksowania?
- Limit szybkości skanowania: Google samo ogranicza tempo skanowania, aby nie przeciążyć Twojego serwera. Wydajniejsze serwery są skanowane szybciej.
- Zapotrzebowanie na skanowanie: jak popularne i wartościowe są Twoje strony. Strony o wysokim autorytecie z dużą liczbą linków są skanowane częściej.
Jak zoptymalizować budżet indeksowania
- Blokuj mało wartościowe adresy URL w robots.txt: nawigację fasetową, parametry identyfikatorów sesji, wersje do druku itp.
- Napraw błędy skanowania: strony 4xx i 5xx marnują budżet indeksowania
- Usuń łańcuchy przekierowań: każdy skok przekierowania zużywa budżet indeksowania
- Scal treści z paginacją: użyj rel=canonical na stronach z paginacją, jeśli treść jest niemal zduplikowana
- Usuń lub oznacz noindex strony o znikomej wartości i niskiej jakości, których Google nie powinno skanować
Gdzie to monitorować
Sprawdź raport Statystyki indeksowania w Search Console (Ustawienia > Statystyki indeksowania), aby zobaczyć trendy aktywności skanowania.