- 公開日： 最終更新日：
クロールバジェットとは？影響を受けるホームページと無駄を減らす方法
クロールバジェットは、検索エンジンがサイト内を巡回する際に使うリソースの配分のことを指します。検索エンジンには一度に巡回できる量に限りがあり、ページ数が多いサイトや構造が複雑なサイトでは、重要なページが見落とされてしまうこともあります。
このページでは、クロールバジェットの仕組みや調べ方、影響を受けやすいホームページの特徴、無駄を減らして効率的に巡回してもらう方法を解説します。
目次
クロールバジェットとは
クロールバジェットとは、Googleなどの検索エンジンが、あるホームページに対して巡回に使うリソースの配分を意味します。
検索エンジンはすべてのページを無制限にクロールしているわけではなく、巡回できる範囲には一定の制限があります。ページ数が多いサイトや構造が複雑なサイトでは、このクロールバジェットの配分によって、重要なページが見落とされることもあります。
クロールバジェットを理解するには、まずは検索エンジンの巡回の仕組みであるクローラーとクローラビリティについて知っておく必要があります。
クローラーとは
クローラーとは、検索エンジンがWeb上の情報を収集するために使っている自動プログラムのことです。
クローラーは、サイトにアクセスしてコンテンツを読み取り、その情報を検索エンジンのデータベースに登録します。この登録作業が行われない限り、どれだけ有益な情報が書かれていても、そのページは検索結果に表示されることはありません。
クロールバジェットは、クローラーがサイトを巡回する際に使われる予算のようなものです。クローラーが効率よく動けなければ、その限られたリソースを無駄に消費してしまい、本来クロールされるべき重要なページまで到達できなくなる恐れがあります。
より詳しくは、Googleクローラーとは？のページをご覧ください。
クローラビリティとは
クローラビリティとは、クローラーがサイト内をどれだけ効率よく巡回できるかを表す指標です。
検索エンジンは、ページ単体で評価するのではなく、リンクをたどってサイト全体の構造を把握しようとします。しかし、内部リンクが不十分だったり、重要なページが深い階層にあると、クローラーがうまく巡回できず、情報が検索エンジンに届かなくなります。
クローラビリティが低い状態は、クロールバジェットの無駄遣いにつながります。限られた巡回リソースを不要なページや途中で行き止まりになるページに使ってしまうことで、全体のクロール効率が下がり、検索順位やインデックスにも悪影響を与える可能性があります。
より詳しくは、クローラビリティとは？のページをご覧ください。
クロールバジェットの調べ方
クロールバジェットは、Googleが明確な数値として公開しているわけではありません。ただし、サーチコンソールのレポートを活用すれば、どれくらいクローラーが自社サイトを巡回しているかを把握し、おおよその傾向をつかむことができます。
サーチコンソールにアクセスする
まずは、サーチコンソールにログインし、対象サイトのプロパティを開きます。画面左下の設定からクロールの統計情報を選択すると、Googlebotが過去90日間にどれだけサイトをクロールしたかの記録が確認できます。
このレポートは、1日のクロールリクエスト数やダウンロード時間などが表示されます。
これらの情報を確認することで、自サイトに対するクローラーの訪問頻度や、サーバー応答の状態を把握することができます。クロールバジェットの上限は確認できませんが、実際に使われているバジェットの動きを間接的に知るための出発点となります。
クロールの統計情報から予測する
クロールの統計情報にあるクロールリクエストの合計は、Googlebotが一定期間にどれだけページを巡回したかを示しています。この数値が多いほど、クロールバジェットが比較的高く設定されている可能性があります。
たとえば、当社サイトでは3か月で約4.6万回クロールされたというデータがありました。これを1日あたりに換算すると、平均して約500ページ以上がクロールされていることになります。
このように、自社サイトに対するクロールの頻度から、現在のクロールバジェットの実態を推測することが可能です。ただし、この数値はあくまでも観測値であり、明確なバジェット数ではないため、参考値として活用するのが現実的です。
クロールバジェットの影響を受けるホームページ
Google検索セントラルの大規模なサイト所有者向けのクロールバジェット管理ガイドを見ると、クロールバジェットの影響を受けやすいサイトとして、以下のようなタイプが挙げられています。
- 100万ページ以上あり週1程度の更新をしているホームページ
- 1万ページ以上で毎日コンテンツが追加されているホームページ
- 検出 - インデックス未登録のページが多いホームページ
つまり、一般的な中小規模のサイトであれば、クロールバジェットをそれほど気にする必要はないというのがGoogleの基本的な見解です。
ただし、当社が制作・運用している多くのホームページでは、この条件に当てはまらない場合でも、クロールの最適化を意識することでインデックスの改善や検索順位の向上が見られるケースがあります。
特に、ページ構造が複雑で内部リンクが整理されていないサイトや、不要なURLが多数発生しているサイトは、クローラーが重要なページにたどり着けず、クロールバジェットが無駄に消費されてしまうこともあります。
そのため、サイトの規模にかかわらず、クロールの無駄を減らすという観点は多くのホームページにとって有効なSEO施策となり得ます。インデックス状況が不安定だったり、サーチコンソールで未登録のURLが増えているといった兆候がある場合には、クロールバジェットの最適化を視野に入れることをおすすめします。
クロールバジェットの無駄を減らす方法
クローラーの巡回には上限があるため、不要なURLや価値の低いページが多いと、本来クロールしてほしい重要なページが後回しにされることがあります。ここでは、クロールの無駄を減らして、限られたバジェットを有効活用するための方法を紹介します。
サーチコンソールの未登録のページを改善する
サーチコンソールのカバレッジレポートには、検出 - インデックス未登録というステータスで表示されるページがあります。
これらはGoogleがURLを認識しているものの、何らかの理由でインデックスされていないページです。こうしたページが大量に存在すると、クローラーは重要でないページにもリソースを割いてしまい、クロールバジェットを無駄に消費してしまいます。
原因としては、内容の薄い自動生成ページ、重複ページ、期限切れのイベントページなどが考えられます。対応策としては、noindexを使ってインデックス対象から外す、URLを削除する、robots.txtでクロールを制御するなどがあります。
まずは、サーチコンソールで検出 - インデックス未登録のURLを洗い出し、クロールの必要性がないページを整理することが重要です。
低品質コンテンツを改善する
検索エンジンは、サイト全体のコンテンツの品質を見てクロールの優先度を判断しています。コンテンツが薄いページや、似たような内容ばかりが並んでいるサイトでは、クローラーがそのサイト全体を重要ではないとみなす傾向があります。
低品質なページが多いと、クローラーは優先してクロールすべきではないと判断し、重要なページの巡回が遅れる原因になります。たとえば、商品説明がほとんど同じで構成されたページが大量にあるECサイトや、内容のないブログ記事ばかりが並ぶサイトなどが該当します。
このような場合は、コンテンツの質を高めるか、重複・不要ページを統合・削除するなどの対応が必要です。良質なページだけが残れば、クローラーが本来巡回すべきページに集中しやすくなり、クロールバジェットの効率化につながります。
クロールバジェットの最適化で検索順位が上がった事例
クロールバジェットを意識したホームページ運用で、実際に検索順位の向上に繋がったケースがあります。
当社で制作・運用を担当しているホームページでは、構造の見直しや不要なURLの整理、低品質コンテンツの統合といった施策により、クローラーの巡回効率が改善され、サーチコンソール上でも変化が現れました。
あるサイトのデータとして、2023年7月15日以降、クローラーの巡回数が徐々に増加しています。
その後、7月下旬から合計クリック数や表示回数が伸び始め、インデックスの安定化とともにアクセス数も上昇傾向を示しました。
平均掲載順位は大きく変わらないものの、主要キーワードでの検索順位は日を追うごとに改善しています。
このサイトは、競合にホットペッパーや大手ポータルが存在する難易度の高いキーワードを含んでいたにもかかわらず、クロールバジェットを意識したサイト運用によって、自然検索からの流入数を安定的に伸ばすことができました。
Googleは、クロールバジェットは、大規模かつ頻繁に更新されるサイト以外はあまり意識しなくてよいとしていますが、実際の現場では中規模サイトでも効果が出ているのが事実です。
検索順位が伸び悩んでいる、インデックスの安定性に課題を感じているという場合は、クロールバジェットの最適化を視野に入れることで、改善のきっかけがつかめるかもしれません。
まとめ：大規模サイトはクロールバジェットを意識しよう
クロールバジェットは、特にページ数が多く更新頻度の高いホームページにおいて、検索結果への影響を及ぼす重要な要素です。
Googleは原則として、大規模なサイト以外ではあまり気にしなくてよいとしていますが、実際の運用現場では、中規模サイトでもクローラーの動きやインデックス状況に違いが見られるケースは少なくありません。
本記事で紹介したように、サーチコンソールでクロール状況を確認し、不要なURLや低品質コンテンツを見直すことで、クロールバジェットを有効に活用できる可能性があります。とくに検出 - インデックス未登録のページが多いサイトは、クロールの無駄が生じているサインかもしれません。
まずは、自社サイトがクロールバジェットの影響を受けやすい構造になっていないかを確認し、必要に応じて最適化に取り組んでみてください。
なお、クロールバジェットの制限や上限そのものに関する詳しい内容については、クロールバジェットの上限とは？のページで詳しく解説しています。
