クロールバジェット

クロールバジェットとは?

クロールバジェットとは、Google の検索ロボット（Googlebot）が 1 日の間にサイト内でアクセス・読み込めるページ数の上限です。 サーバーに過負荷をかけないよう、Google が自動制御しています。大規模サイトでは、この枠をいかに有効活用するかが重要。

ひとことで言うと： Google の検索ロボットが「1 日にウチのサイトを何ページまで読み込むか」の予算。限られた枠を、重要なページに使わないとスキになります。

ポイントまとめ：

何をするものか： Googlebot の 1 日のアクセス数上限
なぜ重要か： 新しいページが検索結果に表示されるまでの速度、サイト全体の検索可視性に影響
向上方法： サーバー速度向上、低価値ページの削除、内部リンク最適化

重要性

e コマースサイトで新しく 1,000 個の商品ページを追加したとき、クロールバジェットが少なく、毎日 100 ページしか読み込まれないなら 10 日かかります。その間、新商品は検索結果に表示されません。一方、クロールバジェットが十分なサイトなら、その日のうちに全ページがインデックスされ、翌日には検索流入が開始するという違いが出ます。

仕組み

Google は以下の 2 つの要素を見てクロール予算を自動配分します。

クロール需要： サイト全体の人気度、更新頻度、ユーザーエンゲージメント。人気で頻繁に更新されるサイトは「もっとクロールする価値がある」と判定されます。

クロール容量： サーバーの応答速度。ページ読み込みが遅いサイトは、サーバーに負荷をかけないよう Googlebot のアクセス速度が抑制されます。

例えば、年 1 回しか更新されない古いサイトと、毎日複数の記事が追加される活発なサイト。同じサーバー性能でも、活発なサイトの方が多くクロールされます。

最適化のポイント

ステップ 1：低価値ページの排除 検索パラメータ、重複ページ、404 エラーページなど、Googlebot がリソースを無駄に使うページを robots.txt で遮断。

ステップ 2：サーバー速度の向上 CDN の導入、キャッシング設定、画像最適化でページ読み込み速度を改善。これによって Googlebot がより多くのページにアクセス可能に。

ステップ 3：重要ページへの内部リンク強化 新しいブログ記事やランディングページへリンクを集中させ、Googlebot をそこに誘導。

実務例

eコマース A 社： 100 万ページ規模のサイト。フィルタ URL（色別、サイズ別などの検索パラメータで自動生成）を robots.txt で排除したら、クロール効率が 30%向上。新商品ページが翌日に検索表示されるようになりました。

メディア B 社： 毎日 50 記事を投稿。内部リンク戦略により、新記事が 2～3 時間後に検索インデックスされるようになり、トレンド検索での競争力が向上。

メリットと注意点

メリット： 新しいページの高速インデックス、検索結果への表示スピード向上。大規模サイトほど効果が顕著。

注意点： 過度に積極的な最適化（重要でないページへのリンク削除など）により、本来必要なコンテンツがインデックスされなくなるリスク。バランスが重要。

よくある質問

Q: 自分のサイトのクロール予算を確認できる？ A: Google Search Console の「クロール統計」セクションで、Googlebot の訪問数やアクセス日時が確認できます。

Q: クロール予算を増やす方法は？ A: サーバー速度を上げる、信頼でききサイトからのバックリンクを獲得、定期的に質の高いコンテンツを更新する、という 3 点が有効。

Q: 大規模サイトでの優先順位は？ A: 売上に直結する商品ページ、SEO で競争したいターゲットキーワードのページを優先。ヘルプページなどは後回しで OK。

クロールバジェット