• 人を集める
• 2021.10.06

クローラーのSEOにおける重要性

クローラーとは簡単に言うと、リンクを辿りながらインターネットを巡回し、発見したページの情報を検索エンジンのデータベースに格納する検索エンジンが開発したプログラムのことを言います。

そして、検索エンジンのデータベースに格納してもらうことは、SEOに強いWeb制作において非常に重要な対策の一つになっているので、このクローラー対策を行うことは、現在の弊社のSEOの根幹になっております。

クローラーとは

クローラーとは、ホームページの情報収集プログラムのことを言い、このクローラーを多く集めることで、ホームページの情報を正しく検索エンジンのデータベースに格納することが可能になります。

このクローラーは、GoogleやYahoo!Japan、bingなど検索エンジンごとに存在しているプログラムになっておりますが、基本的に意識すべきクローラーはGoogleのクローラーのみで問題がないと思われます。

その理由は、Googleのクローラーを対応することができれば他の検索エンジンのクローラーにも対応することが可能であることや、さらにはGoogleではグーグルサーチコンソールにクローラー分析用の数値データを提供してくれているため、数値データを活かした理論的なクローラー対策を行うことができるというメリットがあります。

そのため、Googleのクローラー対策のみを実施することで、ホームページのSEO効果を飛躍的に高めることが可能になるのです。

Web制作当初であればこのクローラーを集める対策は、それほど意識しなくても良いですが、ある程度SEOで訪問者数が集まってきた後はしっかりとこのクローラー対策を行うことで、御社のWeb制作は本当に多くの見込み顧客を集客できるホームページとなるのです。

クローラーを呼び込むメリット

SEOにおいてクローラーを集客しなくてはならない理由は、クローラーを多く呼び込むことで、ホームページの情報を正確にグーグルのデータベースに登録することが可能になるためです。

基本的にはクローラーは1度の訪問でぺージにあるすべての情報をデータベースに登録してくれるわけではなく、ページのソースコード内にリンクがあればそのリンクに飛び込んでしまうため、1度訪問しただけでは中途半端な情報しかデータベースに登録してくれません。

そして当たり前の話ですが、検索結果ページで御社よりも上位に表示されているライバルのページがすべての情報をデータベースに登録されていた場合に、御社のページが数行しかデータベースに登録されていないと、ライバルのホームページよりも上位表示を行うことが一気に難しくなってしまうのです。

そのため、弊社ではクローラーを呼び込むことは、SEOの第一歩であると考えており、しっかりとクローラーを呼び込むことで、ホームページにあるすべてのページの情報をグーグルのデータベースに格納することができ、本当に正しい情報で検索順位を決定してもらうことが可能になるのです。

もちろんWeb制作会社は、Web制作時にこのクローラー対策を行ったWeb制作を行っておりますが、この対策だけでは十分ではなく、Web運営の中でクローラーの訪問頻度を高める対策が必要になります。

サーチコンソールで確認

では、クローラーの訪問を確認する方法をご紹介いたします。

このクローラーの訪問は、Web制作後に導入するグーグルサーチコンソールの「設定＞クロールの統計情報のレポートを開く」から確認することが可能です。

初めてクローラーの訪問を確認される方は、レポートを開いた先のページ上部にあるグラフの「クロールリクエストの合計数」だけを見るだけでも十分であり、このクロールリクエストの合計数がWeb運営によってどれくらい向上したかを確認することでSEOの効果測定を行うことが可能になります。

そして弊社のお客さまの事例で言うと、しっかりと対策を行っているホームページでも1日に80前後の訪問頻度になっており、クローラーを意識していないホームページでは1日に50前後のお客さまがもっとも多いように思われます。

弊社がこれまでクロールの訪問頻度について、さまざまなブログの確認をしてきた限りで言うと、大体1日の訪問頻度を100以上とすることで、SEOの効果が一気に高まるそうなので、この100を一つの目標値としてクローラー対策を行うことで、御社のSEO効果は飛躍的に高まるのです。

クローラー対策法

では、このクローラー対策では、どのようなことを行えばクローラーの訪問頻度を高めることができるのかについてご紹介をいたします。

ここでご紹介するクローラー対策はWeb制作時ではなく、Web運営時に行うクローラー対策になっております。

更新頻度を高める

更新頻度を高めるとクローラーの訪問頻度が高まります。

• 新規ページの作成
• 既存ページのリライト

上記の2点がホームページの更新作業になっており、それぞれの具体的な役割を知ることで、効率の良い更新作業が可能になります。

あくまで弊社の考え方になるのですが、新規ページを作成することで、クロールバジェットと呼ばれるホームページの訪問回数の上限を増やす役割があると考えております。

そのため、がむしゃらにリライト作業を行っていても、クロールバジェットにより1回のクローラーの訪問でクロールする上限が決まっているため、あまり意味がないものになっております。

このクロールバジェットを増やすためにも、最低でも週に1ページは新規ページを作成することが求められております。

そして次に既存ページのリライトがあるのですが、このリライトについては、ページ内の情報の追加や削除で良いと言う方もいらっしゃいますが、弊社がこれまでWeb制作後にSEOをサポートしてきた限りで言うと、一新させることが大切であるように思われます。

なぜ一新が大切になるかと言うと、基本的にはグーグルはページが更新されたことをタグがどれくらい変更されたかで見ているためであり、単純に情報の追加や削除ではあまりグーグルが認識してくれない可能性があるためです。

そしてこのタグの変更を行ったリライト作業を行うことで、クローラーはよく更新されているページは重要なページであると認識してくれるため、そのページ自体へのクローラーの訪問頻度が高まり、訪問頻度が最大化されたページ数が増えれば増えるだけ、そのホームページは優れたページが多くあるホームページであると認識してくれるようになり、そのページだけではなく、トップページのSEOとしても効果を発揮いたします。

そのためクローラー対策の更新業務においては新規ページの作成とリライト作業を並行して行うことが重要で、割合としては新規ページの作成が3としたら既存ページのリライトを7で行うことが重要になります。

ただし、作成やリライトするページの原稿の質が低ければクローラー対策の効果を発揮しづらいので、御社が現段階でできるもっとも質の高いページを作成することが重要になっております。

内部リンクを増やす

内部リンク数を増やすことで、クローラーの訪問頻度を増やすことが可能です。

クローラーはリンクを辿りさまざまなページを発見してくれるのですが、この内部リンクがあることで、クローラーが訪れたページと内部リンク先のページも見て貰えるようになります。

そしてさらには内部リンク数が多ければ多いほど、クローラーは内部リンクをたくさん獲得しているページは重要なページであると考えるため、内部リンク先のページ自体を入口として訪問するクローラーの数も増えるようになっております。

この内部リンクはクローラー対策においては非常に重要な要素になっており、内部リンクと言うと、内部リンク先のSEO効果が高まると言うのが一般論になるのですが、弊社のこれまでのWeb制作経験から言うと、クローラーを誘導することによるSEO効果の方が大きな要素になっていると思われます。

被リンクを増やす

被リンク数を増やすことで、クローラー数を飛躍的に高めることが可能です。

基本的にクローラーはリンクを辿りさまざまなページへとアクセスしているので、外部のホームページからのリンクを獲得することで、クローラーをホームページへと呼び込むことが可能になっております。

そしてこの被リンクは、被リンク先のページのSEO効果が高まるという判断で闇雲に行うよりも、クローラーの集客に効果的な被リンク数を増やすことの方が効果的であると思われ、クローラーの訪問を意識した被リンク数を増やすことで、御社のホームページ全体のSEO効果を高めることが可能になるのです。

この被リンクについては、基本的には最近のWeb制作会社やSEO会社がサポートしてくれることがほぼなくなっており、基本的にはどちらの会社もコンサルティングの提供の中でサポートすることが一般的になるくらい難しいものになっております。

ページの表示速度を速める

Web制作をご検討の方であればページの表示速度を高めることが大切だと聞いたことがあると思います。

ページの表示速度を速めることで検索順位が上がるということは滅多になく、基本的にはページの表示速度のSEO効果は、SEOの点数が同じホームページが2つあった場合にページの表示速度が速いほうが上位に表示され、遅いほうが下位に表示される程度になっております。

そのため、ページの表示速度対策をどんなに行っても、実はそれほど検索順位を高める効果が無いことが多いのですが、しかしクローラー対策においては非常に重要な要素の1つになっております。

ページの表示速度が速いホームページであれば、クローラーがホームページの情報収集を行っているときに、「これ以上このホームページを巡回しているとユーザがホームぺージを見たときに表示速度が遅くなる」と感じことがなくなり、1度の訪問でホームページの情報収集を行ってくれる量が高まってくるのです。

このページの表示速度の計測は、PageSpeed InsightsとWebPageTestを利用することが一般的であると思われますので、これらの2つのデータを確認して問題がある箇所を改善することで、クローラー対策を行うことが可能になっております。

また、こちらのツールには反映されませんが、PHPやワードプレスのバージョンアップなどもページの表示速度対策としては効果的になっております。

分かりやすいサイト構成に変更

分かりやすいサイト構成とは、現在のSEOにおいては直下型のWeb制作のことを言います。

この直下型とは、例えば弊社のホームページを例に言うと、Web制作やSEO、ショッピングカートシステムなどの詳細ページは、すべてサービスディレクトリー内に配置しており、サービス系はサービスディレクトリー内に配置することを直下型のWeb制作と言います。

そしてこの直下型のWeb制作はグーグルにとって実は非常に分かりやすい構成になっており、サービスであればサービスディレクトリーにすべての情報が掲載されていることで、クローラーの巡回効率は飛躍的に高まるのです。

このように現在のSEOにおいては、かなり直下型のWeb制作が重要であると思われますので、クローラーの集客力を高めたいとお考えの方は、自社のホームページが直下型のホームページになっているかを確認して、もしなっていない場合は改善することで、クローラーの巡回効率を飛躍的に高めることが可能になるのです。

この直下型のホームページになっているかどうかについては、ホームページをブラウザで見たときの話ではなく、URLの構造の話になっているので、サービス系の情報はしっかりとhttps://www.sevendesign.biz/service/の中にファイルを設置することが重要になっております。

noindexをしっかりと利用

少しテクニカルな話になり、お客さまでは対応が難しいこともあると思いますが、noindexと呼ばれるメタ情報をグーグルが認識しなくても良いページに対してしっかりと追加していくことで、クローラーの巡回効率を高めることが可能です。

このnoindexは、基本的にはグーグルの検索結果に表示されなくても良いすべてのページに対して追加していくことが重要になっており、例えばお問い合わせページやお問い合わせ確認ページ、お問い合わせ完了ページなどが代表的で、さらにはブログなどのカテゴリーにnoindexを追加することも大切になります。

このように見なくていいページと見てほしいページをしっかりと分けて、見なくて良いページにnoindexを追加していくことで、無駄にクロールバジェットを消費することがなくなりますので、クローラーにとって重要なページが分かりやすいホームページとすることが可能になっております。

このnoindex設定は基本的にはWeb制作時にWeb制作会社が適切に設定してくれることが多いので、あまりお客さまがnoindexを意識する必要はない場合の方が多いです。

検出 - インデックス未登録にも効果的

このクローラー対策については、「検出 - インデックス未登録」の改善にも効果を発揮いたします。

それはグーグル自体が「検出 - インデックス未登録」の改善には内部リンク数を増やすことと公表しているので、クローラー対策を行うことは「検出 - インデックス未登録」対策にも繋がっているように思われます。

そのため、このクローラー対策を行うことは、実はSEOの根本であると思っており、しっかりと現段階よりもクローラーの訪問頻度を増やすためには、どのような対策が必要かを検討しながら対策を実施することで、自然とその他のSEOにもなるので、SEOを行われる方は初めからクローラーの訪問を意識するのがオススメになっております。

そしてこのクローラー対策に特化したSEOを実際に行っていただいているのが、弊社のWeb制作実績のピュアネットワークさまになっており、現在対策中にはなっておりますが、しかし複数のある特定のキーワードでは、検索順位を上げることに成功をしております。

ただし、まだ対策を行い始めであるため、【カナダ留学 大阪】のキーワードでは上がりきっておらず、今後は【カナダ留学 大阪】のキーワードでも上がるようにクローラー対策を提案いたしております。

クローラー対策を実施しよう

Web制作におけるSEOにおいては基本的には「被リンクが上がる」や「新規ページ作成が上がる」と考えるのではなく、クローラーを増やすことを考えたSEOが最も効率的であると考えております。

そしてクローラーの訪問数を100以上にすることで多くのブログで検索順位が飛躍的に上がったという情報も公開されておりますので、SEOを実施される方は、ホームページの更新や被リンク対策をがむしゃらに行うのではなくクローラーの訪問頻度を高めるようにしなくてはなりません。

そしてこのクローラーを増やすことは基本的にはSEOの基本であると把握することで、検索エンジンペナルティーを受けない本当に安定して成果を出し続けることができるSEOとなるのです。

現在のSEOは非常に難しいと言われておりますが、弊社では、このクローラーの訪問数がかなりSEOに影響を与えるようになっただけではないかと考えており、クローラーの訪問頻度を最適化することで御社のSEOは本当に成果を発揮できるようになるのです。