社内向けのページや古い情報を掲載したページを、検索エンジンに表示させたくないと考えるホームページ担当者は少なくありません。表示を防ぐ方法にはnoindexタグやrobots.txtなど複数の手段があり、それぞれ効果の範囲や仕組みが異なります。目的に合わない方法を選んでしまうと、意図した通りに非表示にできない場合もあるため注意が必要です。
本記事では、検索エンジンに表示させない4つの方法と、状況に応じた選び方を解説します。
ホームページを検索エンジンに表示させないようにする方法は4つ
検索エンジンへの表示を防ぐ方法には、noindexタグ、robots.txt、Basic認証、削除ツールの4種類があります。それぞれ仕組みや効果の範囲が異なるため、まずは各方法の特徴を理解しておくことが大切です。
noindexを利用する
noindexは、HTMLのhead内に記述することで、検索エンジンに表示させないようにする方法です。
検索エンジンのクローラーがページを訪れた際にnoindexタグを読み取ると、登録を見送るため、ユーザーが検索しても検索結果に表示されなくなります。WordPressなどのCMSでは、デフォルトの機能やプラグインで簡単に設定できるため、技術的なハードルは低めです。
ただし、noindexを設定してもクローラーが再訪問するまでは反映されないため、実際に表示が消えるまでには数日から数週間かかる点に注意が必要です。
robots.txtを利用する
robots.txtは、検索エンジンのクローラーに対して、サイト内の巡回ルールを指定するテキストファイルです。
特定のページやファイルへのクロールそのものを拒否できるため、検索エンジンにページの存在自体を認識させたくない場合に有効です。
ただし、robots.txtでクロールを拒否しても、すでにインデックスされているページは検索結果に表示されたままになる点に注意が必要です。設定にはサーバー上のrobots.txtファイルを直接編集する必要があるため、作業に不安がある場合はホームページ制作会社に相談するのが確実です。
Basic認証を利用する
Basic認証は、ページにアクセスする際にユーザー名とパスワードの入力を求める仕組みです。
認証を通過しなければページの内容を閲覧できないため、検索エンジンのクローラーもアクセスできず、表示させないようにできます。設定はサーバー側の.htaccessファイルを使うのが一般的ですが、適用範囲を誤ると本来公開すべきページまで閲覧できなくなるため、対象ページの指定は慎重に行う必要があります。
削除ツールを利用する
削除ツールは、Googleサーチコンソールが提供する機能で、すでに検索結果に表示されているページを一時的に非表示にできます。noindexタグを設定しても、クローラーが再訪問するまでは検索結果に残り続けるため、すぐに表示させないようにしたい場合に削除ツールが役立ちます。
ただし、削除ツールによる非表示は約6ヶ月間の一時的な処置であり、恒久的に検索エンジンに表示させないようにするには、noindexタグの設定やページの削除といった対応が別途必要です。また、利用にはサーチコンソールへのサイト登録が必要なため、自分が管理していないホームページには使用できません。
検索エンジンに表示させないようにする方法の選び方
検索エンジンに表示させない方法は4種類ありますが、状況によって適した対策は変わります。ここではよくある4つのケースを取り上げながら、それぞれの選び方を紹介します。
公開前のホームページを検索結果に出したくない場合
ホームページを新規に制作している段階であれば、まだ検索エンジンに一切登録されていないため、サイト全体にnoindexタグを設定することで、公開前の状態を検索結果に表示させずに済みます。WordPressであれば管理画面にある表示設定を切り替えるだけで、簡単に対応できます。
一方、稼働中のホームページをリニューアルする場合は、本番ドメインに直接noindexを設定してはいけません。すでに検索結果に表示されているページまで一緒にインデックスから外れてしまい、アクセスや売上に影響が及ぶためです。リニューアル作業はテスト用の別ドメインやサブドメインで行い、そちらの環境にnoindexタグとBasic認証を設定するのが基本です。
ホームページを公開する際は、設定を解除し忘れないよう注意しましょう。
サイト全体を検索結果から削除したい場合
事業の終了やサービスの終了に伴いホームページを閉鎖する場合は、サーバーからデータそのものを削除するのが最も確実な対策です。
データが存在しなければ、クローラーが再びページを見つけることはありません。すぐに検索結果から消したい場合は、あわせてサーチコンソールの削除ツールを利用すると、反映までの時間を短縮できます。
ただし、何らかの事情でデータをすぐに削除できない状況もあります。その場合は、robots.txtでサイト全体へのクロールを拒否したうえで、Basic認証をかけておくと、新規のインデックス登録と第三者からの閲覧の両方を防げます。
一部のページを検索結果から削除したい場合
キャンペーンページや古い情報が残ったページなど、特定のページだけを対象にしたい場合は、該当ページにnoindexタグを設定するのが最も確実な方法です。
サイト全体には影響を与えず、そのページだけをインデックスから除外できます。急いで検索結果から消したい場合は、noindexタグの設定に加えて削除ツールを併用すると、反映を早められます。
役目を終えたキャンペーンページや、更新が止まった古い記事など、部分的な対応が必要な場面で活用しやすい方法です。
特定の人だけにページを見せたい場合
社内マニュアルや顧客専用ページなど、限られた人だけに公開したいコンテンツは、検索結果に表示させないだけでなく、閲覧そのものを制限する必要があります。このような場合はBasic認証が適しています。
ユーザー名とパスワードを知っている人しかアクセスできなくなるため、検索エンジンのクローラーも内容を読み取れず、検索結果に表示される心配がありません。
noindexタグやrobots.txtでもインデックスを防ぐことはできますが、URLを直接入力すれば誰でも閲覧できてしまいます。閲覧そのものを制限したい場合は、Basic認証を選びましょう。
まとめ
検索エンジンに表示させないようにするには、noindexタグ、robots.txt、Basic認証、削除ツールの4つの方法があります。それぞれ仕組みや効果の範囲が異なり、反映までにかかる期間や適用できる範囲にも違いがあります。
公開前のページを非表示にしたいのか、すでに表示されているページを消したいのか、特定の人だけに閲覧を許可したいのかなど、目的によって最適な方法は変わります。状況に合わせて4つの方法を正しく使い分けることが、意図した通りに検索結果をコントロールするポイントです。
