クロールバジェット最適化の実践｜Googlebotに正しく巡回させる設計手法
hanayama結論：クロールバジェットは「規模×品質×到達効率」で決まる
クロールバジェットとは、Googlebotが一定期間にサイト内を巡回できるURL数の上限です。サイト規模が大きく、品質が高く、内部リンクで到達効率が良いほど、Googleは優先的にクロール資源を配分します。1万URL未満の小規模サイトでは大きな問題になりませんが、中規模以上では決定的な要因です。
クロールバジェットとは何か
Googleは「クロール需要」と「クロール容量」の2要素でクロール頻度を決定します。クロール需要は人気度・更新頻度・新鮮さ、クロール容量はサーバー応答速度・エラー率に依存します。両者の積がクロールバジェットの実体です。
巡回最適化の5原則
- 重要URLは3クリック以内: トップから到達しやすい構造
- 不要URLは即座にnoindex/Disallow: クローラーの無駄遣いを防ぐ
- サーバー応答速度を200ms以下: クロール容量を増やす
- 404/5xxエラーをゼロに近づける: クロール効率を下げない
- 更新頻度の明示: サイトマップのlastmodで鮮度を伝える
不要URL整理の手順
- 重複コンテンツ（カテゴリ・タグ・並び替えURL）を整理
- 検索結果ページ・絞り込みURLをnoindex
- パラメータ付きURLをcanonicalで統合
- 過去の薄いコンテンツを統合 or 削除
- 古い廃止ページを301リダイレクト
サイトマップとrobots.txtの連携
# robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /search/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml
robots.txtの最終行にサイトマップURLを記載することで、Googlebotが効率的に重要URLにたどり着けます。
JavaScript依存の落とし穴
CSR（クライアントサイドレンダリング）で構築されたサイトは、Googlebotがレンダリングに2段階の処理を要するため、クロール効率が低下します。重要コンテンツはSSR/SSGで配信し、JSは補助的に使うのが2026年の鉄則です。
Search Console「クロールの統計情報」活用法
Search Console > 設定 > クロールの統計情報 で、過去90日のクロール状況を確認できます。
- 総クロール数の急増/急減
- 平均応答時間
- ホストステータス
- レスポンスコード別の分布
- ファイル形式別のクロール
これらを月次でモニタリングし、異常値があれば即座に原因調査します。
FAQ
Q1. 小規模サイトでもクロールバジェットを意識すべきですか？
A. 1万URL未満なら過度な意識は不要。ただし不要URLの整理はSEO評価向上に直結するため、規模問わず推奨します。
Q2. サイト全体の応答速度が遅い場合の改善優先度は？
A. クロール容量とCWV両方に影響するため最優先。サーバープラン見直し→キャッシュ→CDNの順。
Q3. クロール頻度を上げる方法はありますか？
A. 質の高い更新を継続、内部リンクを強化、被リンクを増やす。robots.txtのCrawl-delayは推奨されません。
まとめ
クロールバジェットは「不要URLの整理×サーバー応答速度×重要URLへの到達効率」で決まります。Search Consoleで定期モニタリングし、継続的に最適化しましょう。
