検索エンジンに引っかからないようにするには

ホームページやブログを運営していると、特定のページを検索エンジンに表示させたくないと感じることがあります。公開範囲を制限したいケースや、すでにインデックスされたページを非表示にしたい場合など、理由はさまざまです。

このページでは、検索エンジンに引っかからないようにするための具体的な方法とGoogle検索に対する対応策について解説します。

検索エンジンに引っかからないようにする方法

検索結果に表示させたくないページがある場合には、いくつかの設定によって対応が可能です。ここではGoogleやYahoo!、bingなどの検索エンジンに対して、引っかからないようにする方法を紹介します。

検索エンジンにページを登録させたくない場合、もっとも一般的な方法がHTMLのhead内にnoindexタグを記述する方法です。これはGoogleやBingなどのクローラーがページをクロールした際に、このページはインデックスしないでくださいと明確に伝えるための指示です。

実装はシンプルで、HTMLのhead内に<meta name="robots" content="noindex">と記述しす。

WordPressなどのCMSではプラグインや投稿オプションで設定できる場合も多く、技術的なハードルは低めです。ただし、noindexはあくまでインデックスさせないという指示であり、クロール自体を防ぐわけではない点に注意が必要です。

robots.txtは、検索エンジンのクローラーがWebサイト内を巡回する際のルールを指定するテキストファイルです。このファイルを使うことで、特定のディレクトリやファイルに対するクロールそのものを拒否できます。

たとえば、以下のような記述をrobots.txtに追加することで、/private/フォルダをすべての検索エンジンのクローラーからブロックすることが可能です。

User-agent: *
Disallow: /private/

ただし、robots.txtでクロールを防いでも、すでにインデックスされているページは検索結果から消すことができません。robots.txtを利用する場合は、新規に公開するページのみとして、すでにインデックスされている場合は、noindexタグを利用しましょう。

ホームページやページをパスワードで保護する方法として、ベーシック認証の導入があります。

ベーシック認証を設定すると、ユーザー名とパスワードを入力しなければページを閲覧できなくなるため、検索エンジンのクローラーもアクセスできなくなります。この方法は、公開前の開発サイトや限定公開コンテンツに有効です。

ただし、誤って公開ディレクトリ全体に認証をかけてしまうと、本来インデックスされるべきページまで非表示になる可能性があるため、範囲の設定には注意が必要です。設定にはサーバー側の.htaccessファイルを使用するのが一般的です。

Google検索にすでに表示されているページを検索結果から消したい場合、HTMLにnoindexタグを追加するだけではすぐに反映されないことがあります。noindexが効果を発揮するのはクローラーが再度アクセスしたタイミングになるからです。

たとえば、間違えて公開してしまったページや、掲載期間が過ぎたキャンペーンページなどがそのまま検索結果に残っていると、ユーザーがアクセスしてしまう可能性があります。こうした場合に役立つのが、Googleが提供する削除ツールです。

Googleの削除ツールは、サーチコンソール内にある機能で、6ヶ月間の間、特定のURLを検索結果から非表示にできます。削除申請が通ると、該当のページは検索結果から除外されるため、緊急性の高い情報公開の停止に対応可能です。

ただし、この削除はあくまで一時的な非表示処理であり、根本的に検索結果から除外するには、対象ページにnoindexタグを設定する、またはページそのものをサーバーから削除する必要があります。

また、削除ツールを利用するには該当サイトのサーチコンソール登録と所有権の確認が必要です。そのため、第三者のホームページや、自分が管理していないページには使用できない点にも注意しましょう。

このように、削除ツールは、すでに検索に出てしまったものを下げたいというニーズに対して、即効性のある有効な手段です。noindexやrobots.txtによる事前の制御と合わせて、検索結果に表示させない対策を段階的に行うことが理想です。

検索エンジンに引っかからないようにするには、目的や状況に応じた対策が必要です。

noindexタグやrobots.txtを使った事前の制御に加え、限定的に公開したいページにはベーシック認証も有効です。また、Googleの検索結果から削除したい場合は、削除ツールが活用できます。

検索に出したくない理由が明確であれば、その内容に応じて最適な方法を選ぶことで、意図しない露出を防ぐことができます。大切なのは、検索エンジンを正しく制御し、自社サイトの情報を適切に管理することです。