クロールバジェットについて調べると、多くの解説記事で「中小サイトは気にしなくていい」と紹介されています。実際に、Googleも大規模サイト以外は意識する必要がないという見解を示しています。ただ、この言葉だけを鵜呑みにしてよいのか、気になる人もいるはずです。
本記事では、クロールバジェットの基本的な仕組みから、気にしなくていいと言われる理由、それでも影響を受けやすいホームページの特徴、具体的な最適化方法まで解説します。
クロールバジェットとは
クロールバジェットとは、検索エンジンのクローラーが、一定期間内に1つのホームページをクロールするために使えるリソースの上限のことです。
Google検索セントラルでは、この上限は「クロール能力の上限」と「クロールの必要性」という2つの要素で決まると説明されています。
クロール能力の上限は、サーバーの応答速度など、ホームページがどれだけのアクセスに耐えられるかで決まる要素です。クロールの必要性は、ページの人気度や更新の頻度などから、Googleがそのページをどれだけ優先してクロールしたいかを表す指標です。
つまり、サーバーが軽く速く動くホームページほど多くクロールしてもらえる可能性が高まり、よく更新されて注目度の高いページほど優先的にクロールされやすくなります。この2つがそろって初めて、実際にクロールされる範囲が決まる仕組みです。
この配分の中でクロールされなかったページは、どれだけ内容が良くても検索結果に反映されないまま取り残されてしまいます。
なお、クロールバジェットという呼び方は、SEO業界の中で自然に広まった通称です。Googleも現在は公式ドキュメントの中でクロール バジェットという表記を用いています。
Google検索セントラルのクロール バジェットを最適化するはこちら
クロールバジェットが与えるSEOへの影響
クロールバジェットが十分に確保されていないと、Googleがサイト内のページを見つけていても、実際にクロールされるまでに時間がかかったり、後回しにされたりすることがあります。
クロールされないページは、内容がインデックスに登録されず、検索結果に表示されません。どれだけ質の高い記事を公開しても、Googleに読み取ってもらえなければ、存在しないものとして扱われてしまいます。
特に影響が出やすいのは、新しく公開したページや、リライトして内容を大きく更新したページです。クロールが遅れると、その分だけ検索結果への反映も遅れ、機会損失につながります。また、サイト全体でクロールが偏ると、一部の重要なページが十分に評価されないまま放置され、サイト全体の検索パフォーマンスが伸び悩む原因にもなります。
このように、クロールバジェットはSEOの土台となる部分に直結しています。
中小サイトはクロールバジェットを気にしなくていいと言われる理由
クロールバジェットは、クロール能力の上限とクロールの必要性の掛け合わせで決まります。
数百から数千ページ程度のホームページであれば、サーバーが極端に重い場合を除き、Googlebotは短期間でサイト内のほとんどのページを巡回しきれてしまいます。つまり、上限に達する前にクロールが終わるため、予算不足で重要なページまで辿り着けないという事態は起きにくい構造になっています。
Google検索セントラルでも、クロール バジェットを最適化するガイドの対象を「大規模で重複のないページが100万以上あり、1週間に1回以上更新されるホームページ」「中規模以上で重複のないページが1万以上あり、毎日更新されるホームページ」「検索結果に反映されないURLが大部分を占めるホームページ」と明記しています。
多くの中小規模のホームページは、これらの条件のいずれにも当てはまりません。だからこそ中小サイトは気にしなくていいと言われるのです。
ただし、この条件に当てはまらないからといって、クロールバジェットが完全に無関係というわけではありません。
中小サイトでもクロールバジェットの影響を受けやすいホームページの特徴
クロールバジェットは、基本的に中小規模のホームページであれば気にしなくて良いものです。ただし、規模が小さくても、低品質なページや重複したページが大量にある場合は例外です。
たとえば、内容がほとんど同じ商品ページが並んでいたり、内容の薄い自動生成ページが大量に作られていたりすると、Googleはそのページ群を優先してクロールする価値が低いと判断します。すると、クローラーがそうしたページに時間を使ってしまい、本来評価してほしい重要なページの巡回が後回しにされることがあります。
ページ数自体が少なくても、質の低いページの割合が高ければ、同じことが起こり得ます。
つまり、中小規模のホームページにとってクロールバジェットで意識すべきなのは、ページの絶対数を減らすことではなく、低品質なページの比率を減らすことです。
クロールバジェットを最適化する方法
クロールバジェットの最適化とは、無駄なクロールを減らすことと、重要なページへのクロール数を増やすことの両方を指します。この2つの視点から、具体的な方法をまとめました。
ページの更新頻度を高める
クロールの需要は、ページの人気度だけでなく更新の鮮度によっても左右されます。Googleは重要なコンテンツが頻繁に更新されているホームページについて、規模に関係なくクロール頻度が高くなるとしています。
ここで意識すべきは、サイト全体のページ数を増やすことではなく、すでにある重要なページを定期的に更新することです。古い情報を最新の内容に修正したり、新しいデータを追記したりすることで、Googleに再クロールを促すシグナルを送ることができます。
むやみに新規ページを量産すると逆にクロールバジェットを圧迫しかねないため、優先度の高いページから修正に着手するのが得策です。
低品質なページを改善する
内容が薄いページや、他のページとほとんど同じ内容のページが多いと、Googleはサイト全体の評価を下げ、クロールの優先度を下げてしまいます。
たとえば、文字数が極端に少ない記事や、テンプレートを使い回しただけの事例ページなどが該当します。こうしたページは、統合してひとつの充実したページにまとめるか、独自の情報を加えて内容を厚くすることが有効です。
低品質なページを整理すれば、クロールバジェットが質の高いページへ回りやすくなり、サイト全体のSEO評価向上につながります。
自動生成ページを整理する
検索結果ページやパラメータ付きURL、タグページなどは、システムによって自動的に生成され、実質的なURL数を膨らませる原因になります。こうしたページが大量に存在すると、クローラーがそこに時間を割いてしまい、本来評価してほしいページの巡回が後回しになります。
対処法としては、robots.txtでクロール自体をブロックするのが基本です。noindexを設定してもGoogleはページへのアクセス自体は続けるため、クロールバジェットの節約という点では効果が限定的です。
不要なURLをどれだけ発生させないかが、整理の出発点になります。
サーチコンソールのページのインデックスレポートを改善する
サーチコンソールのページレポートには、インデックス未登録の理由がいくつか表示されます。検出 – インデックス未登録、クロール済み – インデックス未登録、404、ソフト404、重複していますといった項目が多い場合は、クロールバジェットが無駄に消費されているサインです。
対応としては、ページの品質を高める、URL検査ツールでインデックス登録をリクエストする、関連ページからの内部リンクを増やす、削除済みページには正しく404・410を返す、canonicalタグを見直して重複を整理する、サイトマップを最新の状態に保つといった方法が有効です。
放置したままにせず、定期的にレポートを確認して原因を潰していく姿勢が求められます。
ホームページの表示速度を改善する
サーバーの応答が遅いと、Googleはクロールに使える接続数を抑えるため、クロール能力の上限そのものが下がってしまいます。
画像の軽量化や不要なスクリプトの削除、キャッシュの活用などでページの表示速度を上げると、Googleが同じ時間内により多くのページを読み込めるようになります。安価な共用サーバーで応答が不安定な場合は、処理能力の高いサーバーへの移行も検討に値します。
表示速度の改善は、クロールバジェットの上限を広げる直接的な手段の一つです。
内部リンクと被リンクを最適化する
内部リンクは、クローラーが重要なページへたどり着くための導線です。階層が深く、リンクが少ないページは発見されにくいため、関連ページから積極的にリンクを設置し、巡回経路を整えることが欠かせません。
一方、被リンクはページの人気度を高める要素であり、良質な被リンクが集まるほどGoogleはそのページを優先的にクロールする傾向があります。
内部リンクと被リンクの両方を整えることで、クロールバジェットが重要なページに集中しやすくなります。内部リンクは自社の努力だけで改善できるのに対し、被リンクは他サイトからの評価によるものなので、まずは内部リンクの整備から着手するのが現実的です。
まとめ
クロールバジェットは、検索エンジンがホームページを巡回する際に使えるリソースの上限を指します。多くの中小規模のホームページは、Googleが定める大規模サイトの条件に当てはまらないため、基本的に気にする必要はありません。
ただし、低品質なページや重複コンテンツが多い場合は、規模に関係なく影響を受けることがあります。サーチコンソールのページレポートで検出 – インデックス未登録やクロール済み – インデックス未登録、404、重複の表示が目立つ場合は、無駄なクロールが発生しているサインです。
ページの更新頻度や表示速度、内部リンクの整備といった基本的な対策を積み重ねることで、限られたクロールバジェットを重要なページに集中させることができます。まずは自社のホームページの状態をサーチコンソールで確認し、必要な部分から対応を進めてみてください。
