• -SEO
• 2022.06.12

検索結果に表示させない方法に利用されるロボットテキストの事例

最近は、検索結果に表示したくないページがある場合はロボットテキストに記載するのが多いようです。

もちろんこの対策は理論上は実現が可能なのですが、弊社が調べたところ、グーグルの発言は見当たらず、ウェブマスターさまの発言になっています。

では、当対策について、Webサイト制作会社になる弊社の意見をご紹介します。

ロボットテキストでできること

ロボットテキストでできることとしては以下になります。

• クローラーの指定
• 巡回が不要なディレクトリーやページの指定
• 巡回不要なディレクトリーの中で巡回して欲しいページの指定
• XMLサイトマップの設置場所

上記4点が行え、これらを行うことでグーグルやヤフーはもちろんさまざまな検索エンジンの情報収集ロボットの巡回効率が高まります。

基本的には、普通にサイト運営を行っている場合は、XMLサイトマップの設置場所の記載以外は利用するケースはありません。

基本的にはホームページ制作時に必要があれば、Webサイト制作会社が記載してくれます。

また、グーグル曰く、1,000ページ以上のホームページ以外はそれほどXMLサイトマップは重要ではないので、ホームページによっては不要です。

そのため、普通のサイト運営では必要がないのですが、御社のホームページに掲載している内容を整理する場合には利用するケースがあります。

グーグルに表示させない場合はロボットテキストに記載

当記事を作成したきっかけは、弊社が先日リダイレクトについて情報収集を行っていたときに、ツイッターに削除に関してお困りの方がいらっしゃりました。

その方は、自社サイトの内容や情報を整理するために、不要なページを削除して、404のステータスコードを送っていたようです。

その時に、どんだけ待っても、該当ページがグーグルとヤフーなどの検索エンジンの結果に表示され、何とか早く対応をしなくてはと考え、ロボットテキストへの記載を行ったようです。

その効果は、実際には公開されていませんでしたが、実際に関連するキーワードでツイッター検索を行ってみると、多くの方がその対応を行っているようです。

この対応が本当に正しいかどうかは分かりませんが、効果がマイナスであれば、ここまで多くの方はしないと思うので、恐らく正しいのかもしれません。

サーチコンソールからURL削除も併用している

その他の方がどのような対応をしているかを調べていると、併せてグーグルサーチコンソールのURL削除を併用している方を多く見かけました。

グーグルサーチコンソールのURL削除は、当社的には、検索順位が上がるではなくて下がるケースが多いので、非常にリスクが高いのではないかと思っています。

その理由は、今回調べた事例では、類似しているニーズの削除もありましたが、検索からの訪問者数が0などのページも対象となっているためです。

これはグーグルの発言になるのですが、「検索からの訪問者数が少ないからと言って、SEO評価が低いわけではない」と公表していました。

削除だけであれば、検索順位が落ちれば、復旧させれば良いのですが、URL削除まで行ってしまうと、復旧はできますが、相当な時間がかかると思います。

グーグルは、先ず削除した、すなわち404ページの扱いをどのようにしているかをご紹介します。

削除した結果404になることは別に問題がありません。

ただ、404になるとそのページのグーグルの再クロール頻度が大幅に落ちるようです。

もちろん、再クロールしない訳ではなく、クロールキュート言われる訪問頻度が存在しています。

そして、404ページを発見すると再クロールの訪問頻度を極端に落とします。

この処置は、他の重要なページのクロール頻度を落とさないため、さらにはホームページがグーグルのクローラーによって重くならないために行われています。

さらには、404ページを発見したら、基本的には通常のクロールは存在しているすなわちステータスコードが200のページを優先させ、余ったバジェットで再クロールをしているようです。

そこにさらにURL削除が入ると、恐らくではありますが、もっと訪問頻度が落ちると思います。

そのため、復旧自体は、削除したページを再投稿すれば良いだけですが、URL削除の解除を行っても時間がかかると認識する必要があります。

グーグルの発表待ち

今回ご紹介のページ削除時の対応が正しいかどうかは、実際にグーグルの発言待ちの状態になっています。

弊社ではページを削除する際には、ここまでは行わないケースが多く、基本的には、一気に行うのではなく、例えば1年で数ページに留めていただいています。

代わりに、このようなロボットテキストへの記載やURL削除ツールの利用は行いません。

ただ、今回ご紹介した対応が正しいのかもしれませんし、間違っているのかも分からないので、今後グーグルポリシーオフィスアワーでの発言待ち状態です。

もし、グーグルポリシーオフィスアワーで、当内容が紹介されていれば、当ページを追記しますので、それまでお待ちください。

ちなみにグーグルポリシーオフィスアワーはホームページ制作やSEOに関わるすべての人、ウェブマスターに見ていただきたい動画になっています。

ポリシーオフィスアワーは大体ですが、月1くらいで開催されていると思います。

動画を見ていると次回の配信予定日が公表されるので、最新まで見た方は、次の動画の日付を知ることができます。

ホームページ制作は表示されなくも良いページを作成しない

上記の対策が公開されていましたが、基本的には弊社もホームページ制作時に提案していますが、削除する可能性がある情報は公開しないのが一番です。

効果が分からない対策は、行わない方が良く、ホームページ制作後のSEOにおいては、基本的には新規ページ作成がもっとも効果を発揮します。

実際に当社のホームページ制作実績の会社さまの多くが、新規ページ作成だけを行い続け、ページ削除をした経験がない企業も多くなっています。

もちろん、ロボットテキストへの記載も同様で、できれば不要なファイルはホームページのサーバー上ではなく、別のサーバーに配置するのが良いでしょう。

ロボットテキストの利用は、かなり慎重に行ったほうが良いので、もちろんグーグルの発表を待って正しいと言えば、行っても良いです。

が、しかし、もしあまりしない方が良いと言う話であれば、ウェブマスターとしては、絶対に行ってはならない対応になってきます。

ロボットテキストは作成が簡単なので、ついつい手を出してしまいがちですが、リスクを考えるとあまり触らない方が良いと考えます。