SEO効果を高めるロボットテキストの作成法 – 大阪のホームページ制作・作成会社セブンデザイン

ロボットテキストを作成している企業サイトは、非常に少ないです。

しかし、ロボットテキストを作成することで、検索エンジンにホームページの情報を正しく認識してもらうことはもちろん、検索エンジンロボットの訪問頻度向上を図れるため、SEO対策を行う上では、必ず作成しておかなくてはなりません。

今回は、まだロボットテキストを作成されていない企業様向けに、ロボットテキストの記述方法をご紹介させていただきます。

ロボットテキストとは、XMLサイトマップと言われる検索エンジン用のサイトマップの設置場所を検索エンジンに教えることができたり、検索エンジンに対して、ある特定の条件を優先させる際に活用する検索エンジン用の指示ファイルになります。

ロボットテキストは、通常のテキストファイルで作成することが可能ですが、必ず作成したファイル名を「robots.txt」としなくてはなりません。

ロボットテキストの設置場所は、弊社のサイトであれば、「https://www.sevendesign.biz/robots.txt」となるように、「www」の直下に設置しなくてはなりません。

ロボットテキストに記述する内容は、「XMLサイトマップの設置場所」と「検索エンジンロボットの指定」、「認識してほしくないページの指定」、「認識してほしいページの指定」の4点になります。

指示を行う検索エンジンロボットの指定を行います。
通常、検索エンジンごとに指示を変えることは少ないため、全ての検索エンジンに対しての指示である「*」と記述することが一般的です。

指示を分ける場合は、「*」の箇所をグーグルは「googlebot」、グーグルの画像検索は「Googlebot-image」、ヤフーは「Slurp」、MSNは「msnbot」になります。

記述方法は、「User-Agent: ○○」と記述し、「User-Agent:」のUとAを大文字にすることと、「User-Agent:」の後に半角スペースが必要になります。

弊社では、全ての検索エンジンへの指示としているため、「User-Agent: *」としております。

ホームページの更新管理画面や会員専用コンテンツなど、検索結果に表示させたくないページの指定が行えます。

指定方法は「ホームページ全体を指定」と「カテゴリーごとに指定」、「ページごとに指定」の3パターンがあります。

記述方法は、「Disallow: ○○」と記述し、「Disallow:」のDを大文字にすることと、「Disallow:」の後に半角スペースが必要になります。

サイト全体の巡回を拒否する場合は、「Disallow: /」と記述します。

特定のカテゴリーの巡回を拒否する場合は、「Disallow: /blog/」と記述します。

特定のページの巡回を拒否する場合は、「Disallow: /blog/creation-7.html ‎」と記述します。

あまり利用する機会はありませんが、「認識してほしくないページの指定」で指定を行ったカテゴリーの中の1ページだけを認識させたいときに指定を行えます。

記述方法は、「Allow: ○○」と記述し、「Allow:」のAを大文字にすることと、「Allow:」の後に半角スペースが必要になります。

例えば、弊社のスタッフブログ全体を巡回拒否して、このページだけを許可する場合は「Disallow: /blog/」と記述し、その下に「Allow: /blog/creation-7.html」と記述します。

XMLサイトマップの保存場所を記述することで、検索エンジンロボットがXMLサイトマップに訪れてくれる頻度が向上します。

記述方法は、「Site: http://www.○○○.com」と記述し、「Site:」のSを大文字にすることと、「Site:」の後に半角スペースが必要になります。

弊社のサイトであれば、「Sitemap: https://www.sevendesign.biz/sitemap.xml」になります。

実際にロボットテキストの記入例をご紹介します。

ロボットテキストの記入例

1行目で検索エンジンロボットの指定を行い、2行目と3行目では認識してほしくないページの指定を行います。その下にサイトマップの設置場所を記述するのですが、サイトマップの設置場所は、必ず1行を開けてから記述するようにしましょう。