大阪のWeb制作会社セブンデザインのスタッフブログ

robots.txtを活用しよう

robots.txtの作成と設置

弊社にSEOのご相談をいただくお客さまのホームページを調査すると、結構な頻度でrobots.txtを導入されていないお客さまがいらっしゃいます。

このrobots.txtについては、シンプルなホームページ、あるいは小規模なホームページであれば、必要がないこともあるのですが、しかしホームページが複雑になってきたり、運営期間が長いホームページ、ページ数が多いホームページになると必ず設置した方が良いテキストファイルになっております。

robots.txtとは

robots.txtとは、検索エンジンに対してホームページのどこを見て、どこを見なくて良いかを記載することができるテキストファイルのことを言います。

このrobots.txtを作成し設置することで、例えば当ブログを検索エンジンの検索結果ページに表示させなくて良い場合は、当ブログ自体を検索エンジンの情報収集プログラムがアクセスできないように拒否すると記述することで、当ブログのすべてのページが検索結果に表示されなくなります。

また、現在、国内で言えば主にYahoo!JapanとGoogle、Bingの3つの検索エンジンが主流になるのですが、海外を含めることで、大小さまざまな検索エンジンが存在しており、robots.txtを利用することで、検索エンジンごとに巡回拒否設定を行うことが可能になっております。

これらを行うことは、あまりSEOについて詳しくない方であれば、「必要があるの?」と思われるかもしれませんが、ホームページの複雑さや規模によっては非常に重要になっております。

メリット

では、このrobots.txtを作成し設置するメリットをご紹介いたします。

検索エンジンの巡回効率が高まる

まず最大のメリットとして検索エンジンのホームページ内の巡回効率が高まります。

ホームページ内にあるページはインターネットに公開するだけでは、検索エンジンが認識してくれるということはなく、検索エンジンの情報収集プログラムが作成したページを見つけて初めて検索結果に表示されるのです。

もちろん、ページの質が低い場合や、内部リンクがない場合などにおいては、ページを発見したとしても「検出-インデックス未登録」や「クロール済み-インデックス未登録」になってしまい、必ず検索エンジンのデータベースに登録されるということはないのですが、しかしURLを発見することができなければ、インデックス未登録以前の問題を抱えたホームページになってしまうのです。

そして小規模サイトであれば、内部リンクさえあれば、必ずグーグルの検索エンジンロボットはページを発見してくれるのですが、大規模サイトになった場合には、作成したページではなく、その他のページを見に行ってしまうため、そのページを見つけてくれるかは運次第になってくるのです。

そのため、このrobots.txtを利用して見なくて良いページ、すなわち検索結果に表示しなくて良いページはしっかりとrobots.txtに記載していくことで、検索エンジンの情報収集プログラムの巡回効率は飛躍的に高まり、SEOとして非常に効果を得ることが可能になるのです。

ホームページが軽くなる

次にrobots.txtに、この検索エンジンの情報収集プログラムは、ホームページを見なくて良いというように記載することで、その検索エンジンの情報収集プログラムがホームページを閲覧しないようになります。

この検索エンジンごとにホームページを見なくて良いと指定することは、ホームページの巡回ロボットの訪問数を減らすことが可能になるため、体感ではそれほど感じませんが、ホームページを軽くすることが可能になっております。

実際にGoogleやBingなどの検索エンジンは、訪問頻度が高すぎるとホームページが重くなることを心配し、訪問頻度を制御しているのですが、重要な検索エンジンのプログラムの訪問頻度を高めるためにも、できる限りホームページは軽くしなくてはなりません。

そのため、不要な検索エンジンの情報収集プログラムは、できる限りホームページに訪問しない方が良いものになっており、これらをしっかりと行うことで、上位表示を行いたい検索エンジンの情報収集プログラムの訪問頻度を高めることが可能になっております。

ただし、その際に、どの検索エンジンの情報収集プログラムがホームページに訪問しているかをしっかりと把握することが大切になっており、これらを把握して本当に必要がない検索エンジンのプログラムを遮断することが大切になっております。

作成法

では具体的な作成法をご紹介いたします。

また、コピーしてご利用いただけるように作成しており、半角スペースなどが入っている場合は、半角スペースなどを含めご活用ください。

検索エンジンロボットの指定

まず検索エンジンロボットの指定を行います。

User-agent: *

上記のように、記述することで、すべての検索エンジンに対しての指示書きを行えます。

この指示書きは、robots.txtの内容すべてに対してではなく、以下でご紹介する「巡回しなくて良いディレクトリー」と「巡回してほしいディレクトリー」に対する指示書きになっております。

ここで例えば、すべての検索エンジンに対しての「*」ではなく、ページであれば「Googlebot」や、画像であれば「Googlebot-Image」というように記載をしていきます。

現在のSEOにおいては、基本的にはすべての検索エンジンへの指示書きである「*」か、画像を検索結果に表示したくないときの「Googlebot-Image」のどちらかを記載することが一般的です。

巡回しなくて良いディレクトリー

次に上記で指定した検索エンジンに対して、巡回しなくて良いディレクトリーを設定できます。

Disallow: /wp/wp-admin/

上記は一般的にワードプレスで制作されたホームページで必須になっている記述になります。

/wp/wp-admin/は、弊社のスタッフブログの更新画面になっているため、基本的には検索エンジンに見てもらう必要がないため記述しております。

巡回してほしいディレクトリー

上記の「巡回しなくて良いディレクトリー」の中にあっても、ここだけは巡回して欲しいというページを記載いたします。

Allow: /wp/wp-admin/admin-ajax.php

こちらもワードプレスで制作されたホームページでは一般的に記載されている記述になっております。

巡回しなくて良い検索エンジン

次にホームページを巡回しなくて良い検索エンジンに対して、巡回を辞めてほしいと伝える記述方法をご紹介いたします。

User-agent: Megalodon
Disallow: /

こちらはあくまで一例になっており、Megalodonという検索エンジンに対して、「Disallow: /」すなわちホームページ全体を見なくても良いという指示書きになっております。

この「User-agent: 」と「Disallow: /」は2つで1セットになっておりますので、もし生ログあるいはアクセス解析の結果から、検索エンジンの情報収集プログラムを確認し、この検索エンジンは見なくても良いと言う場合は、User-agentにしっかりと検索エンジンの情報収集プログラム名を記載をしていかなくてはなりません。

xmlサイトマップの設置場所

最後に、このrobots.txtには、XMLサイトマップの設置場所を記載することが可能です。

Sitemap: https://www.sevendesign.biz/sitemap.xml

こちらは弊社のホームページのXMLサイトマップの設置場所になっており、robots.txtは検索エンジンが基本的には定期的に確認するファイルになっているので、しっかりと記述をしていくことが重要になります。

もちろん、ここに記載したからと言って必ずSEO効果が出るということはありませんが、しかしないよりもあったほうがXMLサイトマップの認識力は高まると思われますので、しっかりとXMLサイトマップの設置場所までを記載するようにしましょう。

設置方法

基本的には上記のようなことをtextファイル(メモ帳)に記載をして、記載が終わればファイル名を「robots.txt」に変更いたします。

そして変更後に、トップページと同階層に設置するようにし、弊社のホームページのURLで言うとhttps://www.sevendesign.biz/robots.txtがrobots.txtの設置場所になっております。

そして昔は、このrobots.txt設置後にグーグルサーチコンソールから送信する必要があったのですが、現在は送信しなくてもグーグルが自動でrobots.txtを認識してくれるため、設置をすれば、すべての作業が完了になっております。

ワードプレスの場合は確認が必要

現在のホームページはワードプレスで制作されることが非常に多くなりました。

そしてこのワードプレスのプラグインでrobots.txtを作成する機会が多いのですが、プラグインで作成したときは、必ずhttps://www.sevendesign.biz/robots.txtなどの「御社のトップページのURL/robots.txt」で作成されたrobots.txtを確認するようにしましょう。

プラグインを利用した場合においては、設定ミスなども多くあるため、ミスをしていれば、せっかく作成したrobots.txtがまったく意味がないものになるため、プラグインでの作成から確認作業までをしっかりと行うことで、本当に効果的なrobots.txtとなるのです。

robots.txtを作成して巡回効率を向上しよう

弊社にSEOのご相談をいただく会社さまの多くがrobots.txtを作成していないように思います。

もちろん、robots.txtを作成したからと言って、必ずSEO効果が高まるというものではありませんが、しかし弊社が考えるにrobots.txtの作成はSEOにおいて重要な要素の一つになっていると思います。

その理由はグーグルなどの検索エンジンの情報収集プログラムはrobots.txtをしっかりと閲覧していることがあり、robots.txtが重要でないファイルであれば、そこまで見てくれることはないと思います。

そのため、SEOでお困りの方は、まずは自社のホームページのrobots.txtを確認し、ない場合は新規作成をある場合は記述が間違えていないかの確認をすることで、本当に成果の出るSEOとすることが可能になるのです。

当記事は株式会社セブンデザインが作成しております。
当記事についてや弊社サービスについてなど、ご興味がございましたら、お気軽にお問い合わせください。

電話でのお問い合わせ

06-7494-1148

受付 10:00~18:00
(定休日 土・日・祝)

メールでのお問い合わせ

お問い合わせはこちら

受付 24時間365日
(土・日・祝は翌営業日のご回答)

Web制作なら大阪のセブンデザイン
〒534-0022
大阪府大阪市都島区都島中通3丁目5-2 英伸ビル 2階

関連記事

TOP

ホームページ制作実績