お客さまから「社内向けのページや古いページを検索エンジンに引っかからないようにしたいのですが、どうすればいいですか？」とご相談をいただくことがあります。検索エンジンに引っかからないようにするには、noindexタグやrobots.txtなど複数の方法があり、目的に応じて使い分ける必要があります。
当ページでは、検索エンジンに引っかからないようにする4つの方法の特徴と、状況ごとの選び方を紹介します。
ホームページを検索エンジンに引っかからないようにする方法は4つ
ホームページを検索エンジンに引っかからないようにする方法は4つあります。それぞれ仕組みや効果の範囲が異なるため、まずは各方法の特徴を理解しておくことが大切です。
noindexを利用する
noindexは、HTMLのhead内に記述することで、検索エンジンに引っかからないようにする方法です。
検索エンジンのクローラーがページを訪れた際にnoindexタグを読み取ると、登録を見送るため、ユーザーが検索しても表示されなくなります。WordPressなどのCMSでは、デフォルトの機能やプラグインで簡単に設定できるため、技術的なハードルは低めです。
ただし、noindexを設定してもクローラーが再訪問するまでは反映されないため、検索エンジンに引っかからなくなるまでに数日から数週間かかる点に注意が必要です。
robots.txtを利用する
robots.txtは、検索エンジンのクローラーに対して、サイト内の巡回ルールを指定するテキストファイルです。
特定のディレクトリやファイルへのクロールそのものを拒否できるため、検索エンジンにページの存在自体を認識させたくない場合に有効です。ただし、robots.txtでクロールを拒否しても、すでにインデックスされているページは検索エンジンに引っかかったままになる点に注意が必要です。
設定にはサーバー上のrobots.txtファイルを直接編集する必要があるため、作業に不安がある場合はホームページ制作会社に相談するのが確実です。
Basic認証を利用する
Basic認証は、ページにアクセスする際にユーザー名とパスワードの入力を求める仕組みです。
認証を通過しなければページの内容を閲覧できないため、検索エンジンのクローラーもアクセスできず、引っかからないようにできます。
設定はサーバー側の.htaccessファイルを使うのが一般的ですが、適用範囲を誤ると本来公開すべきページまで閲覧できなくなるため、対象ディレクトリの指定は慎重に行う必要があります。
削除ツールを利用する
削除ツールは、Googleサーチコンソールが提供する機能で、すでに検索エンジンに引っかかっているページを一時的に非表示にできます。
noindexタグを設定しても、クローラーが再訪問するまでは検索結果に残り続けるため、すぐに引っかからないようにしたい場合に削除ツールが役立ちます。ただし、削除ツールによる非表示は約6ヶ月間の一時的な処置であり、恒久的に検索エンジンに引っかからないようにするには、noindexタグの設定やページの削除といった対応が別途必要です。
また、利用にはサーチコンソールへのサイト登録が必要なため、自分が管理していないホームページには使用できません。
検索エンジンに引っかからないようにする方法の選び方
検索エンジンに引っかからないようにする方法は4つありますが、状況や目的によって最適な方法は異なります。ここでは、よくあるケースごとに、どの方法を選ぶべきかを紹介します。
公開前のホームページを検索結果に出したくない場合
ホームページ制作中やリニューアル中に、未完成の状態で検索エンジンに引っかかってしまうと、ユーザーに悪い印象を与えかねません。
公開前のホームページを検索エンジンに引っかからないようにするには、noindexタグを設定するのが一般的な方法です。WordPressであれば、管理画面の表示設定から簡単にサイト全体をnoindexにできます。さらに確実に外部からのアクセスを防ぎたい場合は、Basic認証を併用することで、クローラーだけでなく第三者の閲覧自体を遮断できます。
公開時にnoindexとBasic認証の解除を忘れないよう注意しましょう。
サイト全体を検索結果から削除したい場合
事業の終了やホームページの閉鎖に伴い、サイト全体を検索エンジンに引っかからないようにしたい場合は、サーバーからホームページのデータを削除するのが最も確実な方法です。すぐに検索結果から消したい場合は、あわせてサーチコンソールの削除ツールを使うことで、反映までの時間を短縮できます。
ただし、すぐに検索結果から消えない状況もあります。その場合は、robots.txtでサイト全体のクロールを拒否したうえで、Basic認証をかけておくことで、検索エンジンへの新たな登録と第三者からのアクセスの両方を防げます。
一部のページを検索結果から削除したい場合
特定のページだけを検索エンジンに引っかからないようにしたい場合は、対象ページにnoindexタグを設定するのが最も確実です。
サイト全体には影響を与えず、該当ページだけをインデックスから除外できます。急いで検索結果から消す必要がある場合は、noindexタグの設定に加えて削除ツールを併用すると、反映を早められます。
役目を終えたキャンペーンページや、古い情報が残っているページの対応に向いています。
特定の人だけにホームページやページ見せたい場合
社内マニュアルや顧客専用ページなど、限られた人だけに公開したいコンテンツには、検索エンジンに引っかからないようにするだけでなく、閲覧自体を制限する必要があります。
この場合はBasic認証が適しています。ユーザー名とパスワードを知っている人しかアクセスできなくなるため、検索エンジンのクローラーも閲覧できず、引っかかる心配がありません。
noindexタグやrobots.txtでもインデックスを防ぐことはできますが、URLを直接入力すれば誰でも閲覧できてしまうため、閲覧制限が必要な場合はBasic認証を選びましょう。
まとめ
検索エンジンに引っかからないようにするには、noindexタグ、robots.txt、Basic認証、削除ツールの4つの方法があります。
それぞれ仕組みや効果の範囲が異なるため、公開前のページを非表示にしたいのか、すでに表示されているページを消したいのか、特定の人だけに見せたいのかなど、目的に応じて適切な方法を選ぶことが大切です。判断に迷う場合や設定作業に不安がある場合は、ホームページ制作会社に相談することで、確実な対応ができます。
