クロール バジェットとは、Googlebotが一定期間内にサイトでクロールするページ数のことです。小規模なサイトでは気にする必要はありませんが、数千ページを持つ大規模なサイトでは重要になります。
クロール バジェットは何で決まる？
- クロール頻度の上限：Googleは、サーバーに過剰な負荷をかけないよう、クロールの速さに自主的に制限をかけています。パフォーマンスの高いサーバーほど、速くクロールされます。
- クロール需要：ページの人気度と価値の高さです。リンクを多く集める権威性の高いページは、より頻繁にクロールされます。
クロール バジェットを最適化する方法
- 価値の低いURLをブロックする：robots.txtで、ファセットナビゲーション、セッションIDパラメータ、印刷用ページなどをブロックします
- クロールエラーを修正する：4xxや5xxのページはクロール バジェットを無駄にします
- リダイレクトチェーンをなくす：リダイレクトを1回挟むごとにクロール バジェットを消費します
- ページネーションされたコンテンツを統合する：内容がほぼ重複している場合は、ページネーションされたページにrel=canonicalを使います
- 削除するか、noindexにする：Googleにクロールさせる必要のない、内容の薄い低品質なページが対象です
確認する場所
Search Consoleのクロール統計情報レポート（［設定］>［クロール統計情報］）で、クロール状況の推移を確認します。