公開したページや更新した内容が、なかなかGoogleの検索結果に反映されないと感じたことはありませんか。その背景には、Googleクローラーというホームページを巡回するプログラムが関係しています。
本記事では、Googleクローラーの役割や種類、SEOへの影響を解説したうえで、Googleサーチコンソールを使った巡回のリクエスト方法と、巡回を拒否したいときの設定方法まで紹介します。
Googleクローラーとは
Googleクローラーとは、Googleがインターネット上のページを自動的に巡回し、情報を収集するためのプログラムです。
クローラーは一般的に「スパイダー」や「ボット」とも呼ばれ、リンクをたどりながらページからページへと渡り歩く様子が、蜘蛛が巣を張る動きに似ていることから「スパイダー」、ロボットのように自動で作業を行うことから「ボット」と呼ばれるようになったといわれています。
Googlebotは、日々膨大な数のホームページを巡回しながら、新しく公開されたページや更新された内容を発見し、その情報をGoogleのシステムへ送り届ける役割を担っています。なお、集めた情報をもとに検索用のデータベースを作る作業は「インデックス」と呼ばれる別の工程で行われており、クローラー自体が索引を作成しているわけではありません。
ホームページを検索結果に表示させるためには、まずGoogleクローラーに正しく認識してもらうことが欠かせません。どれだけ手間をかけて内容の充実したページを作成しても、Googleクローラーに巡回されなければGoogleのデータベースに登録されず、検索結果には反映されないままです。
逆に言えば、Googleクローラーの動きを理解し、適切に対応することがSEO対策の土台になります。
Googleクローラーの役割
Googleクローラーの役割は大きく2つあります。1つは新しいページや更新されたページを見つけること、もう1つはその内容を読み取ってGoogleに届けることです。ここでは、Googleクローラーの役割を紹介します。
新しいページや更新されたページを発見する
Googleクローラーは、すでに知っているページに含まれるリンクをたどりながら、新しく公開されたページや更新されたページを見つけ出します。
この際に、サイト内の内部リンクや、他サイトからの被リンクといったリンク構造が重要な手がかりになります。内部リンクが少なく孤立しているページや、どこからもリンクされていない新規ページは、Googleクローラーに発見されるまで時間がかかってしまうことがあります。
新しいページを公開した際は、関連する既存ページから内部リンクを設置しておくことで、Googleクローラーが発見しやすい状態を整えられます。
ページの情報を収集してGoogleに届ける
ページを発見したGoogleクローラーは、そのページのHTMLやテキスト、画像、動画などの情報を取得し、Googleのシステムへと送り届けます。
このとき、JavaScriptで表示される内容やCSSで制御された部分まで含めて、実際にユーザーが目にする状態に近い形でページを解析しようとします。こうして集められた情報は、この後インデックスに登録され、検索結果に反映される土台になります。
Googleクローラーの種類
Googleは目的に応じて複数の種類のクローラーを使い分けています。ここでは代表的な4つを紹介します。
Googlebot
Googlebotは、検索結果に反映させるための情報収集を担う、Googleの中心的なクローラーです。
パソコン向けとスマートフォン向けの2種類があり、現在は多くのホームページでスマートフォン向けGooglebotが優先的に使われています。通常のページに加えて、画像や動画といったコンテンツも収集対象となり、Google画像検索やGoogle動画などの検索結果にも影響します。
サーバーログの中で最も頻繁に見かけるクローラーであり、SEO対策において意識すべき対象です。
AdsBot-Google
AdsBot-Googleは、Google広告に掲載されるランディングページの品質をチェックするための専用クローラーです。
広告のリンク先ページが正しく表示されるか、表示速度に問題がないかといった点を巡回して確認し、広告の品質スコアに反映させます。パソコン向けの「AdsBot-Google」とモバイル向けの「AdsBot-Google-Mobile」の2種類があり、通常の検索用クローラーとは別の役割を持ちます。
広告を出稿していないホームページであれば、意識する必要は薄いクローラーです。
Google-InspectionTool
Google-InspectionToolは、Googleサーチコンソールの「URL検査」ツールやリッチリザルトテストといった診断ツールが使われたときにだけ動作する検証専用のクローラーです。
通常のGooglebotのように自動でサイト全体を巡回することはなく、ホームページ運営者や第三者が特定のページを検査した瞬間にだけ現れます。動作自体はGooglebotに近く、robots.txtのルールにも従います。サーバーログでこの名前を見かけた場合は、誰かがそのページをサーチコンソールなどで検証したと考えて問題ありません。
Google-Extended
Google-Extendedは、Googleの生成AIがホームページのコンテンツを学習データとして利用することを制御するためのクローラーです。
検索結果への表示やランキングを決めるGooglebotとは完全に別の仕組みで動いており、AIの学習データとして使われることを拒否しても、SEOへの悪影響はないとされています。自社サイトのコンテンツをAIの学習に使われたくないと考える場合に関わってくるクローラーです。
Googleクローラーが与えるSEOへの影響
Googleクローラーの巡回状況は、ページが検索結果に掲載されるかどうか、そしてコンテンツがどこまで正確に評価されるかという、SEOの根幹部分に直接影響します。ここでは、Googleクローラーが与えるSEOへの影響を紹介します。
検索結果への掲載機会が変わる
ホームページにどれだけ質の高いコンテンツを用意しても、Googleクローラーに巡回されなければ、検索結果には一切表示されません。
クロールはインデックス登録の前段階にあたる工程であり、この工程を経ていないページはGoogleのデータベース自体に存在しない状態です。新しく公開したページや大きく作り直したページがなかなか検索結果に出てこない場合、検索順位が低いのではなく、そもそもインデックスされていないケースが多く見られます。
集客施策を考える前に、まず自社のページがクロールされているかどうかを確認する視点が欠かせません。
コンテンツの評価精度が変わる
Googleクローラーはページを訪れても、内容を必ずしも正確に読み取れるとは限りません。
JavaScriptで表示される部分が取得しきれなかったり、robots.txtで重要なファイルへのアクセスが制限されていたりすると、実際のページと異なる形で情報がGoogleに伝わってしまいます。リンク切れの多いページや、階層が深く辿り着きにくいページも、内容を正確に把握してもらいにくい要因です。
せっかく作り込んだコンテンツも、正しく読み取られなければ本来の評価を得られません。
Googleクローラーへの申請方法
Googleクローラーの巡回は基本的に自動で行われますが、公開直後のページや急いで反映させたい更新内容がある場合は、こちらから働きかけて巡回を促すことも可能です。ここでは、Googleクローラーへの申請方法を紹介します。
XMLサイトマップを送信する
XMLサイトマップは、サイト内のページ構成をGoogleに伝えるためのファイルです。
Googleサーチコンソールの「サイトマップ」メニューからXMLサイトマップのURLを送信しておくと、Googleクローラーがサイト全体を効率よく巡回しやすくなります。特に、新しく追加したページやリニューアルで構成が大きく変わった際は、最新のサイトマップを送信することで、変更点をGoogleに早く発見してもらいやすくなります。
ただし、送信したからといって即座に全ページがクロールされるわけではなく、あくまで巡回を促すための土台づくりとして活用するのが適切です。
URL検査を行う
個別のページを素早く巡回してもらいたい場合は、GoogleサーチコンソールのURL検査ツールが有効です。
検査したいページのURLを入力すると、そのページが現在どのような状態でGoogleに認識されているかを確認でき、あわせて「インデックス登録をリクエスト」をクリックすることで、そのページへの巡回を個別に依頼できます。新しく公開したページや、内容を大きく更新したページを早く検索結果に反映させたいときに使うと効果的です。
ただし、短期間に何度も繰り返しリクエストを送ると、スパムとみなされる可能性があるため、公開直後や大幅な更新時など、必要な場面に絞って活用しましょう。
Googleクローラーの拒否方法
特定のページをGoogleに巡回させたくない場合や、検索結果に表示させたくない場合は、クローラーの動きを制限する方法があります。ここでは、Googleクローラーの拒否方法を紹介します。
robots.txtで拒否する
robots.txtは、ホームページのルートディレクトリに設置し、Googleクローラーにアクセスさせたくないディレクトリやページを指定するためのテキストファイルです。
会員専用ページや管理画面など、公開前から検索結果に表示させる必要のないページへのアクセスを、User-agentとDisallowの記述で制限できます。
Googleクローラーはこの指示を尊重するため、指定したページの中身が新たに読み取られたりインデックスに登録されたりすることは基本的にありません。
ただし、すでにインデックスされているページを後からrobots.txtでブロックした場合は注意が必要です。Googleクローラーがページに近づけなくなるため、インデックスからの除外は行われずそのまま残り続けます。加えて、その後ページの内容を変更してもクローラーが再度読み取ることができないため、更新内容も反映されないままになります。
公開前のページを事前に防ぐ用途と、すでにインデックスされたページを消す用途とでは、使うべき方法が異なる点に注意しましょう。
noindexタグを利用する
noindexタグは、ページのhead内に記述するmetaタグで、Googleクローラーには巡回させながら、そのページを検索結果には表示させないよう指示するものです。
robots.txtとは異なり、ページを検索結果から確実に除外できる点が特徴です。
ただし、注意したいのがrobots.txtとの併用です。robots.txtで該当ページへのアクセスを制限してしまうと、Googleクローラーはページ内のnoindexタグを読み取ることができず、指示が反映されないまま検索結果に残り続けてしまうことがあります。
noindexタグを機能させたい場合は、robots.txtでブロックせず、クローラーがページの中身を読み取れる状態にしておくことが前提です。
Googleクローラーに関するよくある質問
ここでは、Googleクローラーについて特に問い合わせの多い質問をまとめました。実務で判断に迷いやすいポイントを中心に解説します。
Googleクローラーが来ない原因を教えてください
主な原因として、robots.txtやnoindexタグによる意図しないアクセス制限が挙げられます。
特定のディレクトリを広めにブロックした結果、公開したいページまで巻き込んでしまっているケースは少なくありません。
また、サイト内のどこからもリンクされていない孤立したページは、Googleクローラーが発見する手がかりを持たないため、巡回まで時間がかかります。公開したばかりのホームページやページが多い場合、Googleからの評価が定まっておらず、巡回の優先度が低くなっていることも考えられます。
こうした原因に心当たりがある場合は、robots.txtの見直しや内部リンクの設置に加えて、前述のXMLサイトマップの送信やURL検査からのリクエストを試してみましょう。
Googlebot以外のクローラーも意識する必要がありますか？
日本国内では検索エンジンのシェアの大半をGoogleが占めており、Yahoo!も検索結果にGoogleの技術を採用しています。
そのため、ホームページ担当者が優先的に対策すべき相手は基本的にGoogleで問題ありません。一方で近年は、生成AIが情報収集のために運用するクローラーも増えており、自社サイトのコンテンツをどこまで開放するかという新しい判断が求められる場面も出てきています。
検索エンジン以外のクローラーへの個別対応まで手を広げる必要性は現時点では高くありませんが、こうした動きがあることは知っておくとよいでしょう。
まとめ
Googleクローラーは、新しいページや更新された内容を発見し、その情報をGoogleに届ける役割を担っています。
Googlebotをはじめ、AdsBot-GoogleやGoogle-Extendedなど目的別のクローラーが存在し、正しく巡回・読み取りが行われるかどうかが、検索結果への掲載機会やコンテンツの評価精度を左右します。
巡回を早めたい場合はXMLサイトマップの送信やURL検査からのリクエストが有効です。一方、特定のページを検索結果から外したい場合は、robots.txtとnoindexタグの役割の違いを理解したうえで、状況に応じて使い分けることが欠かせません
Googleクローラーの動きを正しく理解し対応していくことが、着実な検索流入につながる一歩になります。
