2024.03.23

クロールバジェットに関するGoogleの見解

クロールバジェットとは、Googleのクローラーが1日に訪問できる限界を示す言葉です。

しかし、過去にGoogleがクロールバジェットという言葉を否定していたこともあり、多くの方は、クロールバジェットって何かよく分からないとお思いだと思います。

当ページでは、現在は、Googleがクロールバジェットの存在を認め、Google検索セントラルに大規模なサイト所有者向けのクロールバジェット管理ガイドというページがあるので、そのページの内容を中心に紹介します。

また、そもそもクロールバジェットって何？とお思いの方は、クロールバジェットとは？のページをご用意しているので、まずはそちらからご確認ください。

Google見解のクロールバジェットの影響を受けるホームページ

Googleの見解を見ると、クロールバジェットが関係するホームページは以下3つになります。

1つ目が、重複がない100万ページ以上で、週1で更新しているホームページです。

100万ページ以上というのは、かなり多いページ数になっており、一般的なホームページ制作では見ない例で、データベース型サイトになっていると思います。

2つ目が、重複がない1万ページ以上で、毎日更新しているホームページです。

これまでの制作実績で見ても、1万ページを超えたホームページは、ポータルサイトくらいになっていて、一般的なコーポレートサイトやサービスサイトでは関係がありません。

3つ目に、Googleサーチコンソールで、検出 - インデックス未登録が多いホームページになっています。

この3点がクロールバジェットの影響を受けるホームページになっていますが、少し厳しい目を見たときに、当社では以下の見解をお客さまに紹介をしています。

全ページのうち検出 - インデックス未登録が1/3以上ある
毎日更新しているホームページ

検出 - インデックス未登録の状態と言うのは、Googleがページの内容を見ている最中に、何かしらの影響を受けたページのことになり、一般的なホームページであれば、再訪してもらった段階で、検出 - インデックス未登録は解除されます。

ただ、クローラーは、ホームページが重くならないように、ホームページに訪問しているので、1/3以上あると言うのは、クローラーが訪問するたびに問題が発生しており、クロールバジェットに大きなマイナス影響を受けています。

次に、毎日更新しているホームページと言うのは、クローラーの訪問頻度も高くなるので、クロールバジェットの上限に引っかかってしまい、クローラーが訪問してくれない可能性があるのです。

もちろん、当社の見解よりも、Googleの見解の方が正しいので、小規模サイトであれば考える必要はないと思いますが、一応ウェブマスターは当社の考えも頭に入れていただければ幸いです。

Googleの見解から見たクロール効率を高める方法

重複コンテンツをまとめる

重複コンテンツとは、サイト内にあるコピー＆ペーストで作成されたコンテンツのことを言い、クロールバジェットを無駄に消費してしまう恐れがあり、同じ原稿のコンテンツを統合しましょう。

当社の見解として、ヘッダーやフッター、CTAボタンなどについては、ホームページで共通であったとしても、気にする必要はなく、あくまでコピー＆ペーストで作成されたコンテンツのことを言います。

また、重複コンテンツは、301リダイレクトで統合ではなく、リライトで対応することが良いでしょう。

これまで制作実績のホームページで見てきた限りで言うと、301リダイレクトが過剰に多いホームページは、SEO効果が十分に発揮できないケースが見られます。

robots.txtを利用してクローラーをブロックする

検索結果に表示したくないページをrobots.txtを使って、クローラーの訪問をブロックしましょう。

noindexではなく、robots.txtを利用する理由は、noindexの場合、Googleが、ページのヘッダーを見たうえで、noindexが付与されていると気が付くので、無駄にクロールバジェットを消費してしまうからです。

当社の見解としては、ホームページにあるすべてのページをGoogleに認識してもらう方が重要になるので、検索結果に表示したくないページがある場合は、リライトをして、Googleから評価されるページへとする方が効果的だと思います。

削除されたページは404を返す

ページを削除した場合は、404 NOT FOUNDになるようにしましょう。

404 NOT FOUNDになっていることで、Googleは、ページが削除されたことに気が付くので、そのページのクロール頻度を大幅に落として、半年や1年後には、Googleのデータベースから削除されます。

もちろん、同じURLで新規ページを作成した場合には、404ではないとGoogleが気が付くので、インデックスしてもらうことが可能です。

当社の見解としては、404 NOT FOUNDのページ数を減らすことが、ホームページのSEOにおいて大切なので、ページを削除する前に、リライトができないかを検討しましょう。

リライトが難しい場合のみに、404 NOT FOUNDにすることで、ホームページのSEO効果は安定します。

ソフト404を改善する

ソフト404とは、技術的な問題がある404 NOT FOUNDになっており、Googleサーチコンソールのインデックス作成＞ページに表示されるステータスです。

ソフト404は、通常の404 NOT FOUNDと違い、クローラーは訪問を辞めないので、クロールバジェットを無駄に消費してしまうので、必ず改善しなくてはならないポイントです。

当社の見解としては、昨今のホームページでは、Web制作会社が意識をするようになり、ソフト404を見るケースはほとんどありませんが、自社でホームページを制作している場合は、構造上の問題の可能性があるので、適切な対応を行いましょう。

適切なXMLサイトマップを送信する

GoogleはXMLサイトマップから各ページのURLを把握しています。

そのため、削除したページのURLはXMLサイトマップに記載しないようにしたり、<lastmod>を記述して、サーチエンジンにできる限り詳しいXMLサイトマップを送信することで、無駄なクロールを減らすことが可能です。

当社の見解としては、昨今のホームページはWordPressを実装することが当たり前になっており、WordPressのプラグインでXMLサイトマップを生成していれば、上記の問題が発生することはないと思い、それほど気にするポイントではありません。

リダイレクトチェーンを避ける

リダイレクトチェーンとは、A→B→C→Dというように、連鎖的なリダイレクトのことを言います。

リダイレクトチェーンが多いホームページでは、Aに訪れてもBに訪れても、クローラーはDのページを閲覧するので、AやB、Cのページに訪問すること自体が無駄になってしまいます。

当社の見解としては、ホームページのリダイレクト数を減らす意識はSEOに重要で、A→B→C→Dというリダイレクトチェーンがある場合は、AとBのページのリダイレクト先をDに変更して、さらには、復活できるURLの場合は復活させた方がホームページのSEO効果が安定します。

ホームページの表示速度を高める

ホームページの表示速度を高めることで、Googleが効率よくクロールすることが可能になります。

当社の見解として、クロールバジェットに関係するホームページの表示速度は、目視ではなくPageSpeed Insightsの点数になっており、100点を狙う必要はありませんが、60点から70点を目標にすると、効率よくクローラーがホームページを巡回できます。

クロールをモニタリングする

クロールをモニタリングして、問題点の発見と改善を行います。

当社の見解として、クロールのモニタリングは、Googleサーチコンソールの設定＞クロールの統計情報で行え、当ページの数値データを管理して必要に応じてホームページを改善しましょう。

ただし、これまでの制作実績で1,000ページ前後のホームページで見ても、普通にホームページを運営していれば、クロールの統計情報に問題が発生したケースはほとんどなく、Googleは10,000ページ以上のホームページで利用することを言っています。

まとめ

クロールバジェットに関するGoogleの見解をお伝えしました。

Googleの言う重複のない1万ページ以上のホームページを制作する経験は、これまで1度しかなかったので、詳しい情報ではないかもしれません。

ちなみに、1万ページを超えるポータルサイトも、現段階ではクロールバジェットに問題が起こっているようには感じません。

そのため、Googleの見解としてのクロールバジェットを理解することは大切ですが、何か特別な対策を行うまでは必要がないと思います。

クロールバジェットって何？と思いの方の参考になれば幸いです。