自社のホームページが、知らないうちにクローキングに該当していないか、不安に感じたことはありませんか。クローキングは、訪問者と検索エンジンクローラーに異なる内容を見せる行為で、発覚すると検索順位の低下やペナルティの対象になります。
当ページでは、クローキングの基本から、該当する手法と該当しない手法、SEOへの影響、自社サイトが該当していないか確認する方法を解説します。
クローキングとは
検索エンジンクローラーと人間の訪問者に、それぞれ異なる内容のページを見せる行為を、クローキングと呼びます。同じURLへのアクセスであっても、検索エンジンクローラーには評価されやすいテキスト中心のページを表示し、訪問者には見た目を重視したページを表示するといった状態が典型例です。
検索エンジンクローラーは、実際に訪問者が目にしているページそのものを評価の対象としています。クローキングは、検索順位を操作したり訪問者に誤解を与えたりする目的で、検索エンジン向けに作られた別のページを評価させようとする行為であり、この前提と真っ向から矛盾します。
フィッシングサイトやウイルス配布サイトがこの仕組みを悪用すれば、検索結果全体の信頼性も損なわれかねません。
こうした背景から、検索エンジンはクローキングを検索結果を不正に操作する行為とみなし、公式のスパムポリシーで明確な禁止事項として位置づけています。
クローキングに該当する手法
クローキングに該当する手法は、アクセスしてきた相手が人間か検索エンジンクローラーかを判別し、その結果に応じて表示内容を切り替える点で共通しています。
Googlebotなど検索エンジンクローラーは、検索エンジン側が公開している特定のIPアドレスを使ってアクセスしてきます。この情報をもとに、アクセスしてきた相手を判定し、クローラーと人間で異なる内容を返す仕組みが、クローキングの代表的な手法です。
具体的には、クローラーのアクセスにはキーワードを多く盛り込んだテキスト中心のページを表示し、一般の訪問者には画像を多用した見栄えの良いページを見せる、といった使い分けが行われます。
検索エンジンはテキスト量の多いシンプルな構造のページを評価しやすい一方、訪問者は視覚的に魅力のあるページを好む傾向があるため、この矛盾を埋める目的で使われてきました。
クローキングに該当しない手法
クローキングに該当しない手法に共通するのは、判定基準が人間かクローラーかではなく、訪問者側の状況にある点です。同じ条件なら誰に対しても同じ内容が表示されるため、クローキングにはなりません。
デバイスに応じてレイアウトを変えるレスポンシブデザイン
画面サイズに応じてレイアウトを調整するレスポンシブデザインは、多くのホームページで採用されている一般的な手法で、クローキングに該当しません。
PCでは情報量を多めに表示し、スマホでは画面外への配置によって表示量を抑えるといった調整も、レスポンシブデザインの一環です。Googleも、モバイル向けにCSSで表示を切り替える実装について、ユーザー体験を目的とした調整であれば問題視しないと明言しています。
判定の基準はあくまで画面幅であり、アクセスしてきた相手が検索エンジンクローラーかどうかで内容を変えているわけではないため、クローキングの定義そのものに当てはまりません。
アクセスした国に応じてページを切り替える多言語サイト
訪問者がアクセスしてきた国や地域に応じて、表示する言語のページを切り替えるのも、クローキングには該当しません。
日本からのアクセスには日本語ページ、海外からのアクセスには英語ページを表示するといった出し分けは、訪問者の利便性を高めるための正当な仕組みです。この判定はIPアドレスなどをもとに国や地域を識別しているものの、人間かクローラーかを見分けているわけではなく、同じ地域からアクセスすれば訪問者でも検索エンジンクローラーでも同じ内容が表示されます。
多くの企業サイトやECサイトで採用されている一般的な仕組みであり、SEO上のリスクを心配する必要はありません。
ログイン状態に応じて表示コンテンツを変える会員限定ページ
ログインしているかどうかによって表示する内容を変える会員限定ページの仕組みも、クローキングには該当しません。
ログイン前は概要のみを表示し、ログイン後に詳細情報を表示するといった設計は、多くの会員制サイトやECサイトで採用されています。この場合の判定基準はログイン状態であり、訪問者が人間か検索エンジンクローラーかを見分けているわけではありません。
クローラーは通常ログインした状態でページを取得できないため、非会員向けのページが評価対象になりますが、これはアクセス制限であって、クローキングとは異なります。
クローキングがSEOに与える影響
クローキングが発覚した場合のペナルティには、Googleの自動システムによるものと、人による手動での対応によるものの2種類があります。
手動ペナルティで検索結果から除外される
Googleには、担当者がホームページを直接確認し、スパムポリシー違反と判断した場合に科す手動による対策という仕組みがあります。クローキングもこの対象に含まれており、悪質だと判断されれば、該当ページや場合によってはサイト全体が検索結果から除外されます。
手動による対策が科されると、Googleサーチコンソールの手動による対策レポートにその旨が表示され、違反内容の詳細を確認できます。改善後に再審査をリクエストし、Googleが違反の解消を確認できれば、ペナルティは解除されます。
ただし、除外されるまでの間は検索経由の流入がほぼ失われるため、事業への影響は小さくありません。
自動ペナルティで検索順位が大きく落ちる
検索エンジンのアルゴリズムは、クローキングのようなスパム行為を自動的に検出する仕組みを備えています。人の目による確認を経ずに、システムが不審な出し分けを検知した時点で評価を下げるため、こちらは日常的に発生している対応です。
検索順位の下落幅は違反の程度によって異なりますが、狙っていたキーワードで大きく圏外に飛ばされるケースも珍しくありません。手動による対策と異なりサーチコンソールに通知が届かないことが多く、原因の特定が難しい点が実務上の注意点です。
自社サイトがクローキングをしているかの確認方法
意図せずクローキングの状態になっていないか不安な場合は、以下の2つの方法で、Googleが実際に認識している内容と、訪問者が見ている内容を比較できます。
GoogleサーチコンソールのURL検査でGoogleが認識している内容を確認する
GoogleサーチコンソールでURL検査をしたあと、画面右上の「公開URLをテスト」をクリックすると、そのページにアクセスした場合の内容をGoogleが実際に取得し直します。テストが完了したら「テスト済みのページを表示」を開き、「スクリーンショット」のタブを確認すると、Googlebotがレンダリングした状態のページが画像で表示されます。
この画面と、通常のブラウザで見たページを見比べて、内容や見た目に差がなければクローキングの心配はありません。「HTML」のタブでは、Googleが実際に取得したHTMLソースも確認できるため、見た目だけでなくコードレベルで比較したい場合はこちらも活用できます。
プラグインの設定変更やホームページリニューアルの後は、念のためこの手順で確認しておくと安心です。
ブラウザでユーザーエージェントをGooglebotに変更して表示を確認する
Google Chromeのデベロッパーツールを使うと、ユーザーエージェントを「Googlebot」に偽装した状態でページを表示できます。手順は次の通りです。
まず対象ページを開いた状態で、Windowsは「F12」、Macは「Control + Option + I」でデベロッパーツールを起動します。次に画面右上の「︙」から「その他のツール」を選び、「ネットワーク状態」を開きます。「ユーザーエージェント」の項目で「ブラウザのデフォルトを使用」のチェックを外すと、一覧から「Googlebot」を選択できるようになります。
選択後にページを再読み込みすると、Googlebotに見えている状態のページを確認できます。この表示が、通常のブラウザで見た内容と異なっていれば、クローキングが発生している可能性があります。なお、この設定は開いているタブを閉じると解除されるため、確認のたびに設定し直す必要があります。
まとめ
クローキングは、訪問者と検索エンジンに異なる内容を見せる行為で、発覚すれば検索結果からの除外や検索順位の大幅な低下につながります。
該当するかどうかの分かれ目は、人間か検索エンジンクローラーかを判別して表示内容を切り替えているかどうかです。レスポンシブデザインや多言語対応、会員限定ページのように、訪問者の状況に応じて表示を変える仕組みは、この判別を行っていないためクローキングには該当しません。
自社サイトが意図せずクローキングの状態になっていないか不安な場合は、GoogleサーチコンソールのURL検査や、ユーザーエージェントを変更した表示確認を通じて、実際の見え方を定期的にチェックしておくと安心です。
知らないうちにSEO評価を落とす原因を作らないためにも、こうした確認は定期的な習慣にしておきましょう。
