HP作成会社 大阪のホームページ制作会社セブンデザイン

ロボットテキストを作成してSEO効果を高めよう

robots.txtの作成と設置でSEO効果を高める

弊社のホームページ制作ではなく、SEOのご相談をいただく会社さまの調査を行うと、結構な頻度でロボットテキスト(robots.txt)を導入されていないお客さまがいらっしゃいます。

ロボットテキストについては、シンプルあるいは小規模なホームページ制作であれば、不要もあります。

しかし、サイト構成が複雑だったり、サイト運営期間が長い、ページ数が多いと必ず設置した方が良いテキストファイルなのです。

弊社では、ロボットテキストは、ホームページ制作を行ったすべての会社さまに対して適切に導入してます。

ロボットテキストとは

robots.txtって何?

ロボットテキスト(robots.txt)とは、ホームページ制作が完了後の導入ファイルで、検索エンジンに対してどこを見て、どこを見なくて良いかを記載ができるテキストファイルを言います。

ロボットテキストを作成し設置で、例えば当ブログを検索結果ページに表示させなくて良い場合は以下のような処置をします。

当ブログ自体を情報収集プログラムがアクセス不可というように拒否と記述で、当ブログのすべてのページが検索結果に表示されなくなります。

また、現在、国内で言えば主にヤフージャパンとグーグル、マイクロソフトのビングの3つが主流です。

海外を含めると、大小さまざまな検索エンジンが存在し、ロボットテキストを利用で、巡回拒否設定を行えます。

これらを行うのは、あまりSEOについて詳しくない方であれば、「必要があるの?」と思われるかもしれませんが、複雑さや規模によっては非常に重要です。

メリット

メリット

では、ロボットテキストを作成しホームページ制作後に設置メリットをご紹介いたします。

巡回効率が高まる

まず最大のメリットとして検索エンジンのホームページ内の巡回効率が高まります。

ホームページ内にあるページはインターネットに公開だけでは、認識してくれなく、情報収集プログラムが作成したページを見つけて初めて検索結果に表示されるのです。

もちろん、ページの質が低い場合や、内部リンクがない場合などにおいては、ページを発見したとしても意味がありません。

検出 - インデックス未登録クロール済み - インデックス未登録になり、データベースに登録されません。

しかしURLを発見ができなければ、インデックス未登録以前の問題を抱えてしまうのです。

そして小規模サイトであれば、内部リンクさえあれば、必ずグーグルのロボットはページを発見してくれます。

大規模サイトの場合には、作成したページではなく、その他のページを見に行ってしまうため、ページを見つけてくれるかは運次第にです。

そのため、ロボットテキストを利用して、グーグルが見なくて良いページ、すなわち検索結果に非表示のページはしっかりとロボットテキストに記載しなくてはいけません。

そうすれば、検索エンジンの情報収集プログラムの巡回効率は飛躍的に高まり、ホームページ制作後のSEOとして非常に効果を得れます。

軽く

次にロボットテキストに、検索エンジンの情報収集プログラムは、見なくて良いというように記載で、情報収集プログラムがページを閲覧しなくなるのです。

検索エンジンごとに見なくて良いと指定は、巡回ロボットの訪問数を減らせれるため、体感ではそれほど感じませんが、ホームページが軽くなります。

実際にグーグルやヤフー、ビングなどの検索エンジンは、訪問頻度が高すぎるとホームページが重たくなるのを心配してくれます。

そのため、訪問頻度を制御しますが、重要な検索エンジンのプログラムの訪問頻度を高めるためにも、できる限りホームページは軽くしなくてはいけません。

不要な情報収集プログラムは、できる限りホームページに訪問しない方が良く、上位表示を行いたい検索エンジンの情報収集プログラムの訪問頻度を高めれるのです。

ただし、どの検索エンジンの情報収集プログラムがホームページに訪問をしっかりと把握が大切で、把握して本当に不要な検索エンジンのプログラムを遮断がホームページ制作に大切です。

作成法

作成

では具体的なロボットテキストの作成法をご紹介いたします。

また、コピーしてご利用いただけるように作成し、半角スペースなどが入る場合は、半角スペースなどを含めご活用ください。

ホームページ制作が終わった後のロボットテキストの作成にご活用ください。

ロボットの指定

まず検索エンジンロボットの指定を行います。

User-agent: *

上記のように、記述で、すべての検索エンジンに対しての指示書きを行えます。

指示書きは、ロボットテキストの内容すべてに対してではなく、以下でご紹介の「巡回しなくて良いディレクトリー」と「巡回してほしいディレクトリー」の指示書きです。

ここで例えば、すべての検索エンジンに対しての「*」ではなく、ページであれば「Googlebot」や、画像であれば「Googlebot-Image」というように記載をしていきます。

ホームページ制作後に行うSEOにおいては、基本的にはすべての検索エンジンへの指示書きである「*」を記載します。

ただ、場合によっては、画像を検索結果に表示したくないときの「Googlebot-Image」のどちらかを記載が一般的です。

巡回不要なディレクトリー

次に上記で指定した検索エンジンに対して、巡回不要なディレクトリーを設定できます。

Disallow: /wp/wp-admin/

上記は一般的にワードプレスで制作されたホームページ制作で必須な記述です。

/wp/wp-admin/は、弊社のスタッフブログの更新画面なので、基本的には検索エンジンに見てもらう必要がないため記述してます。

巡回しなくても良いページの指定はホームページ制作後のSEOにおいて非常に大切で、しっかりと設定しましょう。

巡回してほしいディレクトリー

上記の「巡回しなくて良いディレクトリー」の中にあっても、ここだけは巡回して欲しいというページを記載いたします。

ホームページ制作を行う際に巡回して欲しくないページを作成は非常に稀ですが、テストファイルなどをアップしたり、認証付きページなどの指定をオススメいたします。

Allow: /wp/wp-admin/admin-ajax.php

こちらもワードプレスで制作されたホームページでは、一般的に初めから記載される記述です。

巡回不要

次に巡回しなくて良い検索エンジンに対して、巡回を辞めてほしいと伝える記述方法をご紹介いたします。

User-agent: Megalodon
Disallow: /

こちらはあくまで一例で、Megalodonという検索エンジンに対して、「Disallow: /」すなわち全体を見なくても良いという指示書きです。

「User-agent: 」と「Disallow: /」は2つで1セットです。

もし生ログあるいはアクセス解析の結果から、情報収集プログラムを確認し、見なくても良いと言う場合は、しっかりと情報収集プログラム名を記載をしていかなくてはなりません。

巡回しなくても良い検索エンジンの指定は、ホームページ制作後にしっかりと設定がSEOに大切なので、ある程度のページ数があるホームページはしっかりと設定していくようにしましょう。

xmlサイトマップの設置場所

最後に、ロボットテキストには、XMLサイトマップの設置場所を記載が可能です。

Sitemap: https://www.sevendesign.biz/sitemap.xml

こちらは弊社のXMLサイトマップの設置場所で、ロボットテキストは検索エンジンが基本的には定期的に確認ファイルなので、しっかりと記述が重要です。

もちろん、ここに記載したからと言って必ずSEO効果が出ると言い切れません。

しかしあったほうが認識力は高まると思われますので、しっかりとXMLサイトマップの設置場所までを記載で、御社のホームページ制作は本当にSEOに強くなります。

設置方法

設置

基本的には上記のようにtextファイル(メモ帳)に記載をして、記載が終わればファイル名を「ロボットテキスト」に変更いたします。

そして変更後に、トップページと同階層に設置し、弊社のホームページのURLで言うとhttps://www.sevendesign.biz/robots.txtが設置場所です。

そして昔は、設置後にグーグルサーチコンソールから送信の必要がありました。

しかし、現在は送信しなくてもグーグルが自動でロボットテキストを認識してくれるため、設置をすれば、すべての作業が完了です。

ホームページ制作後にせっかくロボットテキストを設置していたとしても、記述法やファイルのアップ場所が間違えていたら無意味なファイルになります。

なので、正しい設置法を行うように気を付けなくてはなりません。

ワードプレスの場合は確認が必要

ワードプレスの場合は確認

現在のホームページ制作はワードプレスで制作が非常に多くなりました。

そしてワードプレスのプラグインでロボットテキストを作成機会が多いのですが、プラグインで作成したときは、必ず御社のトップページのURL/robots.txtで作成されたかを確認しましょう。

プラグインを利用した場合においては、設定ミスなども多くあるため、ミスをしていれば、せっかく作成してもまったく無意味になります。

プラグインでの作成から確認作業までをしっかりと行うと、本当に効果的な対策なのです。

ワードプレスでホームページ制作を行う際には必ずチェック作業は行うようにしましょう。

ホームページ制作後は必ず作成して巡回効率を向上

巡回効率を向上

弊社にSEOのご相談をいただく会社さまの多くがロボットテキストを作成していないように思います。

もちろん、作成したからと言って、必ずSEO効果が高まるというものではありません。

しかし弊社が考えるに作成はSEOにおいて重要な要素の一つだと思いますし、弊社ではホームページ制作を行った際には、必ずロボットテキストを作成してます。

理由はグーグルなどの検索エンジンの情報収集プログラムはロボットテキストをしっかりと閲覧していて、重要でないファイルであれば、そこまで見てくれないと思います。

そのため、SEOでお困りの方は、まずは自社の確認をし、ない場合は新規作成をある場合は記述が間違えを確認で、本当に成果の出るSEOが可能です。

もちろん、上記以外にも、さまざまな対策があり、ホームページ制作から運営までのSEOをしっかりと調査して不足内容を実施が大切です。

当記事やサービスについてなど、ご興味がございましたら、お気軽にご相談ください。

電話

06-7494-1148

受付 10:00~18:00
(土・日・祝は除く)

メール

メールフォームへ

受付 24時間
(土・日・祝は翌営業日のご回答)

株式会社セブンデザイン
〒534-0022
大阪市都島区都島中通3丁目5-2 英伸ビル 2階

これまでの実績

TOP