新しく公開したページや更新した内容が、なかなかGoogleに気づいてもらえないと感じたことはありませんか。原因の一つが、Googleのクローラーがホームページを巡回する頻度、いわゆるクロール頻度です。
本記事では、クロール頻度が決まる仕組みや確認方法、高めるための具体的な方法を解説します。検索順位との関係や、実務でよくある疑問についても取り上げています。
クロール頻度とは
Googleのクローラーがホームページを巡回する頻度のことを、クロール頻度と呼びます。
クローラーは巡回によってページの内容を読み取り、検索結果に反映させるための情報を集めています。
巡回の頻度はすべてのホームページで一律ではなく、更新頻度や情報量、アクセス状況などによってホームページごとに差が生じます。頻繁に情報を発信しているホームページほど巡回される回数が増える一方、更新が少ないホームページでは巡回の間隔が空きやすくなる傾向にあります。
巡回の頻度を把握しておくと、公開したページや更新した内容がどのくらいの早さでGoogleに認識されるかを判断する目安になります。
なおクロール頻度という言葉には、巡回そのものの回数を指す意味と、クローラーが一秒あたりに送るリクエストの回数、いわゆるクロール速度を指す意味の2つがありますが、一般的にクロール頻度という場合は前者の巡回回数を指すことがほとんどです。
クロール頻度が決まる仕組み
クロール頻度は、ホームページの状態をもとにGoogleが決定しています。決定要因は大きく分けて、ホームページへの評価に基づくものと、技術的な制限によるものの2つがあります。
ホームページの人気度と更新頻度による変動
多くのアクセスを集めているホームページや、運営期間の長いホームページは、Googleから重要性の高いホームページと判断されやすく、クロール頻度も高くなる傾向にあります。あわせて、情報を継続的に発信しているホームページも、新しい内容をいち早く反映させるために優先的に巡回され、クロール頻度が上がりやすくなります。
反対に、更新が少ないホームページやコンテンツの質が低いホームページ、運営を始めたばかりのホームページは、Googleからの評価がまだ定まっていないため、クロール頻度は低くなりがちです。
人気度と更新頻度は、日々の運営の積み重ねによって少しずつ変化していく要素といえます。
クロールバジェットによる制限
クロールバジェットとは、Googleが1つのホームページに対して割り当てているクロールの上限のことで、クロール頻度を左右する要因の一つです。
サーバーが安定して素早く応答している状態が続くと、クロールバジェットの上限が上がり、クロール頻度も高まりやすくなります。反対に、サーバーの応答が遅くなったりエラーが返されたりすると、上限は下がり、クロール頻度も低下してしまいます。
このクロールバジェットは、Googleのアルゴリズムによってホームページごとに自動的に決定される仕組みのため、運営者側が直接数値を指定することはできません。サーバー環境を安定させることが、クロールバジェットを維持し、クロール頻度を保つうえで欠かせません。
クロール頻度の確認方法
自社のホームページのクロール頻度は、Googleサーチコンソールとサーバーログの2つの方法で確認できます。得られる情報の細かさや必要な知識が異なるため、目的に応じて使い分けることが大切です。
Googleサーチコンソールの確認
Googleサーチコンソールでは、登録するだけでクロール頻度を確認できます。
サイドメニューの「設定」から「クロールの統計情報」を開くと、過去90日間のクロールリクエストの合計数や、日ごとの推移をグラフで把握できます。サイト全体のクロール頻度の傾向をつかみたい場合に適した方法です。
また、特定のページを詳しく調べたい場合は、上部の検索窓にURLを入力する「URL検査」を使うと、そのページが最後にクロールされた日時を個別に確認できます。新しく公開・更新したページのクロール頻度を素早く把握したいときに便利です。
なお、クロールの統計情報について詳しくは、サーチコンソールのクロールの統計情報とは？の記事をご確認ください。
サーバーログの確認
サーバーログには、Googleのクローラーがホームページにアクセスした日時やページごとの回数が記録されています。
ログを確認することで、クロール頻度をより正確に、かつサーチコンソールでは見えにくい細かな巡回状況まで把握できます。ただし、ログの中からGooglebotによるアクセスだけを特定するには、ユーザーエージェントを絞り込む作業など専門的な知識が必要です。
多くのホームページ担当者にとっては難易度が高いため、詳しく調べたい場合は制作会社に確認を依頼するとよいでしょう。
クロール頻度を高める方法
クロール頻度を高めるには、Googleへ直接働きかける方法と、サイト自体を改善する方法の両方からアプローチすることが有効です。ここでは実践しやすい6つの方法を紹介します。
Googleサーチコンソールからクロールをリクエストする
Googleサーチコンソールの「URL検査」から、新しく公開したページや更新したページのURLを入力し、「インデックス登録をリクエスト」をクリックすると、そのページへのクロールをGoogleに直接依頼できます。
クロールを待つよりも早く、内容を認識してもらえる可能性が高まる方法です。ただし、あくまで依頼であり、必ずクロールされることを保証するものではありません。
また、短期間に何度も繰り返しリクエストを送ると、スパム行為とみなされるおそれがあるため、公開直後や大きく更新した際など、必要な場面に絞って活用することが大切です。
XMLサイトマップを送信する
XMLサイトマップは、サイト内のページ構成をGoogleに伝えるためのファイルです。
サーチコンソールの「サイトマップ」から送信しておくと、Googleのクローラーがサイト全体を効率よく巡回しやすくなり、クロール頻度の向上にもつながります。特に、新しく作成したページや更新したページが含まれたサイトマップを最新の状態に保っておくことで、Googleが変更点をより早く発見できるようになります。
サイトマップを一度も送信していない場合や、長期間更新していない場合は、まず現在の状態を確認し、必要に応じて送信し直すことをおすすめします。
サーバーの応答速度を改善する
Googleはサーバーへの負荷を避けるためにクロールバジェットを調整しており、サーバーの応答が遅い状態が続くと、クロール頻度が下がってしまうことがあります。反対に、サーバーが安定して素早く応答できる状態を保てていれば、クロールバジェットの上限が上がり、クロール頻度も高まりやすくなります。
応答速度に問題がないか確認するには、サーチコンソールの「クロールの統計情報」で平均応答時間をチェックする方法が有効です。極端に遅い場合は、サーバーのスペック見直しやプログラムの改善など、契約しているサーバー会社への相談も検討しましょう。
新規ページを作成する
Googleは、継続的に情報を発信しているホームページを重要性の高いホームページと判断し、クロールの機会を優先的に割り当てる傾向があります。新規ページを定期的に作成することで、サイト全体に対するクロール機会が増え、既存ページのクロール頻度が底上げされることも期待できます。
ただし、内容の薄いページを数だけ増やしても効果は見込めません。訪問者にとって役立つ情報を伴った新規ページを、無理のないペースで継続的に公開していくことが、クロール頻度を伸ばすうえでの土台になります。
コンテンツの質を改善する
既存ページの内容を見直し、情報を充実させたり、古くなった内容を最新の状態に更新したりすることも、クロール頻度を高めるうえで効果的です。
Googleは、独自性が高く訪問者のニーズに応えられている質の高いページを優先的に評価し、クロールする価値のあるホームページと判断します。反対に、他のホームページと内容が重複していたり、情報が薄かったりするページが多いと、クロール頻度が上がりにくくなる原因になります。
目先の更新頻度だけでなく、1つひとつのページの中身を丁寧に見直す姿勢が欠かせません。
リンクを集める
クロール頻度を高めるには、リンクを集めることも欠かせません。
サイト内の関連ページを内部リンクでつなぐと、クローラーが辿り着きやすい導線ができ、サイト全体を巡回しやすくなります。特に更新頻度の低いページや新しく作成したページには、意識的に内部リンクを設置しておくとよいでしょう。
あわせて、他のホームページから紹介される被リンクを獲得できると、Googleから重要性の高いホームページと判断されやすくなり、クロール頻度の向上につながります。被リンクは短期間で増やすことが難しいため、訪問者にとって価値のある情報を発信し続けることが結果的な近道になります。
クロール頻度に関するよくある質問
クロール頻度について、実務でよく寄せられる疑問をQ&A形式でまとめました。仕組みを理解するうえでの参考にしてください。
クロール頻度が高いと検索順位は上がりますか？
クロール頻度が高いこと自体が、検索順位を直接押し上げるわけではありません。
Google検索チームの担当者も、かつてX上で、クロールされる頻度が増えたからといってランキングが改善することはないと発言しています。クロール頻度が高いホームページほど検索順位も高い傾向にあるのは事実ですが、これはコンテンツの質や被リンクといった、検索順位に関わる要素そのものがクロール頻度にも同様に影響しているためです。
クロール頻度を高めることは、あくまで新しいページや更新内容をGoogleに早く見つけてもらうための土台づくりと捉え、検索順位向上への影響は副次的なものと考えておくのが実態に近い見方です。
クロール頻度はどのくらいが理想ですか？
クロール頻度に、すべてのホームページに共通する明確な理想値はありません。
Googleが正式なアルゴリズムを公開していないうえ、ホームページの規模や更新頻度、これまでの運営期間によって適切な水準が異なるためです。
目安としては、新しく公開したページや更新した内容が、数日以内にサーチコンソールの「URL検査」でクロール済みと確認できていれば、大きな問題はないと考えられます。反対に、更新してから1週間以上経ってもクロールされていない状態が続く場合は、サーバーの応答速度やコンテンツの質に改善の余地がないか見直してみるとよいでしょう。
クロール頻度が低いとどうなるんですか？
クロール頻度が低いと、新しく公開したページや更新した内容をGoogleが発見するまでに時間がかかってしまいます。
せっかく情報を新しくしても、検索結果には古い内容が表示され続けることになり、訪問者に正しい情報を届けられない状態が長引きます。特に、キャンペーン情報や営業時間の変更など、鮮度が重要な内容を発信している場合は、機会損失につながりやすい点に注意が必要です。
クロール頻度の低下が続く場合は、サーバーエラーの有無や更新頻度に問題がないか、早めに確認することをおすすめします。
まとめ
クロール頻度とは、Googleのクローラーがホームページを巡回する頻度のことで、ホームページの人気度や更新頻度、クロールバジェットといった要因によって決まります。
確認する際はサーチコンソールやサーバーログを活用し、高めるにはクロールのリクエストやサイトマップの送信、サーバーの応答速度改善、新規ページの作成、コンテンツの質の向上、リンクの獲得といった施策が有効です。
クロール頻度自体が検索順位を直接押し上げるものではありませんが、新しい情報をGoogleに早く見つけてもらうための土台として、日頃から意識しておく価値のある指標です。
