- 公開日： 最終更新日：
検索エンジンに引っかからないようにする3つの方法
ホームページを運営していると、「このページは検索エンジンに表示されたくない」と感じることがあります。たとえば、社内資料のような限定公開のコンテンツや、開発中のテストページなど、外部からのアクセスを避けたい理由はさまざまです。
この記事では、検索エンジンにページが表示されないようにする3つの方法と、すでにGoogleの検索結果に載ってしまったページを非表示にできる削除ツールについて解説します。
目次
検索エンジンに表示させたくない主な理由とは
検索エンジンにページを表示させたくない理由はさまざまです。社内向けの情報や開発中のテストページ、すでに役目を終えた古いページなどが検索結果に表示されることで思わぬリスクが生じるケースもあります。ここでは、検索エンジンに表示させたくない理由を紹介します。
社内用や関係者限定のコンテンツ
社内マニュアル、従業員向けの通達、顧客専用ページなど、本来は社内や特定の関係者だけが閲覧することを想定して作られたコンテンツでも、Web上に公開されてしまうケースがあります。
こうしたページが検索エンジンにインデックスされてしまうと、第三者に見つかるリスクが生まれ、情報漏えいや誤解を招く恐れがあります。
URLが知られていなくても、検索経由で発見される可能性はゼロではありません。そのため、こうした限定的な情報は検索結果に表示されないように配慮する必要があります。
テスト段階のページ
新機能や新デザインを検証するためのテストページが、本番公開前に検索エンジンにインデックスされてしまうと、意図しないユーザーが未完成の内容にアクセスする可能性があります。中途半端な状態で公開されることで、企業の信頼性を損ねたり、誤った情報が広まる原因になることがあります。
このようなページは、検索結果に表示されないよう、あらかじめ適切な対策を講じておくことが重要です。
古い情報や役目を終えたページ
提供が終了したサービスの紹介ページなど、すでに使われなくなったページが検索結果に残っていると、閲覧者に誤解を与えることがあります。たとえば、古い価格情報やサービス内容を鵜呑みにして問い合わせが発生するケースもあり、トラブルのもとになりかねません。
こうしたページはすでに役割を終えているため、検索結果に残しておくメリットは少なく、必要に応じて非表示にすることが望ましい対応です。
検索エンジンに引っかからないようにする方法
検索結果に表示させたくないページがある場合には、いくつかの設定によって対応が可能です。ここでは、Google、Yahoo!、bingなどの主要な検索エンジンに対して、引っかからないようにする方法を紹介します。
noindexタグでインデックスを拒否する
検索エンジンにページをインデックスさせたくない場合、もっとも一般的な方法がHTMLのhead内にnoindexタグを記述する方法です。これは主要な検索エンジンのクローラーがページをクロールした際に、「このページはインデックスしないでください」と明確に伝えるための指示です。
実装はシンプルで、HTMLのhead内に<meta name="robots" content="noindex">と記述します。
WordPressなどのCMSでは、プラグインや投稿オプションで設定できる場合も多く、技術的なハードルは低めです。ただし、noindexはあくまでインデックスさせないという指示であり、クロール自体を防ぐわけではない点に注意が必要です。
robots.txtでクローラーのアクセスを拒否する
robots.txtは、検索エンジンのクローラーがWebサイト内を巡回する際のルールを指定するテキストファイルです。このファイルを使うことで、特定のディレクトリやファイルに対するクロールそのものを拒否できます。
たとえば、以下のような記述をrobots.txtに追加することで、/private/フォルダを検索エンジンのクローラーからブロックすることが可能です。
User-agent: *
Disallow: /private/
ただし、robots.txtでクロールを防いでも、すでにインデックスされているページは検索結果から消すことができません。robots.txtを利用する場合は、新規に公開するページのみとして、すでにインデックスされている場合は、noindexタグを利用しましょう。
ベーシック認証をかける
ホームページやページをパスワードで保護する方法として、ベーシック認証の導入があります。
ベーシック認証を設定すると、ユーザー名とパスワードを入力しなければページが閲覧できなくなるため、検索エンジンのクローラーもアクセスできなくなります。
この方法は、公開前のテストサイトや限定公開コンテンツで利用されます。
ただし、誤って公開ディレクトリ全体に認証をかけてしまうと、本来インデックスされるべきページまで非表示になる可能性があるため、範囲の設定には注意が必要です。
設定はサーバー側の.htaccessファイルを使用するのが一般的です。
Google検索にヒットさせたくないなら削除ツールも効果的
Google検索にすでに表示されているページを検索結果から消したい場合、HTMLにnoindexタグを追加するだけではすぐに反映されないことがあります。noindexが効果を発揮するのはクローラーが再度アクセスしたタイミングになるからです。
たとえば、間違えて公開してしまったページや、掲載期間が過ぎたキャンペーンページなどがそのまま検索結果に残っていると、ユーザーがアクセスしてしまう可能性があります。こうした場合に役立つのが、Googleが提供する削除ツールです。
削除ツールはサーチコンソールの機能で、6ヶ月間、特定のURLをGoogleの検索結果から除外できます。意図せず公開してしまったページの対応に効果的です。
ただし、削除ツールはあくまで一時的な非表示処理であり、根本的に検索結果から除外するには、対象ページにnoindexタグを設定する、またはページそのものをサーバーから削除する必要があります。
また、削除ツールを利用するには該当サイトにGoogleサーチコンソールを登録することが必要です。そのため、第三者のホームページや、自分が管理していないホームページには使用できない点に注意しましょう。
このように、削除ツールはGoogleの検索結果から速やかにページを削除したいときに効果的な手段です。
noindexやrobots.txtによる制御と合わせて、検索結果に表示させない対策を段階的に行うことが理想です。
まとめ：検索エンジンを制御して引っかからないようにしよう
検索エンジンに引っかからないようにするには、目的や状況に応じた対策が必要です。
noindexタグやrobots.txtを使った事前の制御に加え、限定的に公開したいページにはベーシック認証も効果的です。また、Googleの検索結果から削除したい場合は、削除ツールが活用できます。
検索に出したくない理由が明確であれば、その内容に応じて最適な方法を選ぶことで、意図しない露出を防ぐことができます。大切なのは、検索エンジンを正しく制御し、自社サイトの情報を適切に管理することです。
