• 人を集める
• 2021.11.09

「クロール済み - インデックス未登録」の改善法

Web制作が完了したら導入するグーグルサーチコンソールに「クロール済み - インデックス未登録」という項目のデータがあります。

この「クロール済み - インデックス未登録」は、グーグルサーチコンソールに似たようなデータ「検出 - インデックス未登録」とは意味が異なるデータになっており、弊社が実際に「クロール済み - インデックス未登録」の改善を行ったところ、「検出 - インデックス未登録」よりもかなり大変な作業になっておりました。

では実際に「クロール済み - インデックス未登録」はどのように改善していけば良いのかについてご紹介をいたします。

クロール済み - インデックス未登録とは

グーグルサーチコンソールの「クロール済み - インデックス未登録」には、グーグルがクロールはしたけれども、インデックスする価値がないと判断したページのリストが表示されております。

そして当然インデックス未登録になるので、せっかくWeb制作を行っても、この「クロール済み - インデックス未登録」にリストアップされたページ自体はSEO評価の対象になっておらず、せっかく時間をかけて作成したページであったとしても、SEOとしては、まったく意味がないページになっているのです。

そして、現在のホームページの集客は、SEO依存のお客さまも非常に多く、「クロール済み - インデックス未登録」の改善は、SEOに依存しているホームページにおいては非常に大きな課題になっております。

では、実際に2021年5月から2021年7月24日まで、弊社がお客さまはもちろん、弊社のホームページの「クロール済み - インデックス未登録」の改善のために調査や検証をしてみた結果をご紹介いたします。

インデックス未登録の種類

グーグルサーチコンソールが示すインデックス未登録には、「検出 - インデックス未登録」と「クロール済み - インデックス未登録」があり、別の記事で「検出 - インデックス未登録」の改善法をご紹介しています。

そして弊社がお客さまのホームページや弊社のホームページでインデックス未登録の改善作業を行っていて思うのが、比較的「検出 - インデックス未登録」は改善が容易になっており、「クロール済み - インデックス未登録」の改善は本当に難しいものになっております。

「検出 - インデックス未登録」では、基本的にはURLの検出はされているがインデックスはされていない、もっと言うとクロール自体もされていないことがあるため、クロールやインデックスのためのクローラーを呼び込むために、内部や外部の被リンク数を着実に増やす、あるいは、何もしなくても時間が経てば改善されるものになっておりました。

しかし、当ページでご紹介する「クロール済み - インデックス未登録」は、クロールは完了しているにもかかわらず、インデックス未登録となっているページになるので、単純に内部や外部の被リンクを増やすだけでは改善されないですし、さらには放置していても絶対に改善されることがないのです。

そのため、この「クロール済み - インデックス未登録」の改善は非常に難易度が高いものになっており、短期間で、どうにかなるものではないと理解をして、Web制作段階から対策法を検討することが大切になっております。

では、実際に弊社が行っている具体的な「クロール済み - インデックス未登録」の対策法についてご紹介をいたします。

現在の弊社の改善成功率

現状で言えばですが、弊社のホームページでは「クロール済み - インデックス未登録」のページが非常に多く、大体80ページほどが「クロール済み - インデックス未登録」として表示されております。

そして、もちろんこれらのページに対して、以下でご紹介するような対策を実施しておりますが、現段階ではまだグーグルサーチコンソールのデータとして反映されておらず、どのような結果になるかは分からないものになっております。

そのため、現段階で今回ご紹介する「クロール済み - インデックス未登録」の改善法が必ず効果があるとは言い切れませんが、お客さまはもちろん、弊社のホームページでも、数ページは以下の対策によって改善されておりますので、おそらく効果があると思いご紹介をさせていただきます。

「クロール済み - インデックス未登録」は、Web制作段階からしっかりと対策法を検討して、そしてその対策法を実施したページ作成を行うことが重要になっていると思います。

基本的にはリライト作業

まず、「クロール済み - インデックス未登録」の改善で重要になってくるのが、ページはクロールしたけれども、インデックスする価値がないと判断をされてしまったため、そのページのリライトを行い、そのページの価値を高めることが大切になっております。

このリライト作業を行う際には、良質なホームページであることをグーグルに伝えることが大切になっているので、文章を書くときには、そのページを見たユーザがそのページだけで、知りたかったすべての情報を収集できることを意識すると良いでしょう。

基本的にはこのリライトが「クロール済み - インデックス未登録」には最も効果的であると考えておりますが、しかし実はこれだけではなかなか解消されることはありませんでした。

しかし、Web制作時であれば原稿作成を行うことがそこまで難しいものではないにしても、リライト作業は本当に大変な労力を伴うものになっているので、しっかりとスケジュールを立てて毎日少しずつリライト作業を行うことが重要です。

内部リンク数を増やす

前回の「検出 - インデックス未登録」でもご紹介しましたが、内部リンクはグーグルのクローラーの「更新」の割合を増やすのに効果的であるように思います。

そして実際に「クロール済み - インデックス未登録」のリライトを行った後、放置していてもなかなか「クロール済み - インデックス未登録」が改善されないので、別の記事をリライトする際には、しっかりと内部リンクを送ることが重要になります。

そして内部リンクを行うことで、グーグルはより早く、内部リンク先のページがリライトしたことに気が付いてくれるようになるので、「クロール済み - インデックス未登録」対策として非常に効果的なものになるのです。

正確には不明ですが、実際に内部リンクを行っている場合と行っていない場合では、内部リンク対策をしっかりと行っているホームページの方が「クロール済み - インデックス未登録」の改善が早いように思われるため、しっかりと内部リンクまでを対策法と理解して行うと良いでしょう。

また、この内部リンクについてグーグル検索などを行うと、過去に公開したページからリライトを行ったページへの内部リンクが効果的であると多くのホームページで紹介されておりますが、これらの作業は本当に大変なので、弊社では新規ページを作成する際、あるいはリライトを行う際に意識して内部リンクを行うことを推奨しております。

そして実際に弊社がWeb制作を行った会社さまにおいては、この内部リンク数を「クロール済み - インデックス未登録」に関係なく、さまざまなページからさまざまなページへと増やすことで、少しずつではありますが、「クロール済み - インデックス未登録」を改善することに成功しております。

外部被リンクも増やす

そして次に外部のホームページから被リンクを行うのですが、その際には2つの対策法があります。

内部リンク元のページに被リンク

まず1つ目が内部リンク元のページに被リンクを行うようにします。

これは、内部リンク元のページのSEO効果が高ければ高いほど、内部リンク先のSEO効果も高まるものになっており、先述した通り、クローラーの「更新」はおそらく内部リンクが重要であると思われますので、その効果は最大化されるものになっております。

ただ、実際にWeb制作後に被リンク対策を行うことは本当に大変なものになっているので、この内部リンク元のページだけに外部のホームページから被リンクを行うことはしたことがなく、どちらかと言うと、内部リンク元にも内部リンク先にも被リンクを行い、効率を高めた対策を実施しております。

該当ページに被リンク

そして次にこれは一般的なものになるのですが、上記でご紹介をした通り、「クロール済み - インデックス未登録」のページに被リンクを行います。

現在の被リンクの効果は、昔に比べてかなり弱まったと思われ、弊社がWeb制作を行った会社さまでは、まったく外部からの被リンクを行っていない会社さまもいらっしゃいますが被リンクはやはり大切な要素の一つです。

しかし、該当ページに直接被リンクを行っても、「クロール済み - インデックス未登録」は思ったほど解消されることはありませんでした。

ただ、一応被リンクはまだまだSEOにおいて重要な要素になるので、しっかりと対策を行うことで、より「クロール済み - インデックス未登録」が解消される可能性は高まると思います。

グーグルサーチコンソールのURLの送信は意味がない

グーグルサーチコンソールのURLの送信については、「クロール済み - インデックス未登録」を解消する効果はないと思われます。

実際に、ページの更新や被リンク対策などは一切行わずに、1ヶ月ほど毎日すべての「クロール済み - インデックス未登録」のページに対して、グーグルサーチコンソールのURLの送信を行ってみたのですが、「クロール済み - インデックス未登録」が減少することはありませんでした。

そのため、「クロール済み - インデックス未登録」を改善するためには、リライト作業と内部と外部の被リンクが重要になっていると思われ、URLの送信に固執をした対策は時間の無駄になると思われます。

ただし、URLの送信が意味がないと言うものではなく、基本的にはWeb制作時やリライト後にはしっかりとURLの送信を行うことは重要になります。

URLを変更する場合

「クロール済み - インデックス未登録」のページをリライトする際に、URLが同じままリライトするのではなく、URLがシンプルな方が「クロール済み - インデックス未登録」対策になるという情報も見かけますので、弊社ではURLを変えてページのリライトを行うことがあります。

ただ、その際に旧URLから新URLへとしっかりとリダイレクトを実施するのですが、弊社のホームページもそうなのですが、リダイレクト元の削除されたURLがいつまでもグーグルサーチコンソールの「クロール済み - インデックス未登録」に残ってしまうことがあるのです。

そしてリダイレクト先はしっかりとインデックス登録がされているため、おそらく問題はないのですが、しかしデータを確認する際に、これらのURLが表示されるのは少しデータが見づらいものになっております。

そのため、リライトを行う際には、あまりURLを変更しない方が良いとは思いますが、該当のページのURLが極端に長いや、分かりづらいときなどは、URLの変更を行ったほうが、「クロール済み - インデックス未登録」対策になるという情報もあるため、その場合にのみ旧URLから新URLへのリダイレクト設定を行うようにしましょう。

ちなみにですが、弊社では昔に作成した記事はURLに日付を含んでおりましたので、この日付を含んだ記事のリライトを行うときのみ、URLを変更しリダイレクトを実施しております。

そして基本としては、Web制作時から今後URLの変更が発生しないようなURLを設定することが本当に効果的な対策になっていると思います。

上記で改善されることが多いが

上記の対策を基本的な対策法としていただくことで、弊社や弊社のお客さまの「クロール済み - インデックス未登録」は少しずつ解消されております。

ただ、現状の問題点としては、「新着情報」と「スタッフブログの2ページ目以降」になっており、これらの2つのコンテンツに対してはなかなか「クロール済み - インデックス未登録」が改善されておりません。

そのため、この「新着情報」と「スタッフブログの2ページ目以降」については、現段階では以下のように考えております。

この考え方は本当に大切な要素ですので、しっかりとWeb制作時に理解をすることが大切になります。

新着情報

新着情報については、対応の仕方が非常に難しいと思っており、以下の2つの対策法をそれぞれ行いました。

• 2000文字でWeb制作に関連する内容を追記
• 500文字で必要な情報だけを掲載

そして、どちらの場合も、「クロール済み - インデックス未登録」が改善される場合もあれば、改善されない場合もあり、はっきりとした改善方法が見えない結果となっておりました。

ただ、改善された場合もあるので、基本的にはリライトの効果と内部リンクの効果になっていると思われ、新着情報も今後はしっかりと内部リンクを掲載していくことが大切であるように思います。

そして、他のホームページの新着情報を調査してみたところ、文字数が少ない新着情報ばかりを公開しているホームページであっても、しっかりとほぼすべての新着情報を認識してもらえていることがあるので、弊社ではすべての新着情報の文字数を減らして公開してみようと考えております。

スタッフブログの2ページ目以降

そして、2021年7月24日現在で弊社のスタッフブログの記事一覧ページは69ページあります。

そしてそのうち、20ページが「クロール済み - インデックス未登録」になっているのですが、これも結構弊社では問題があると考えております。

と言うのが現在の弊社のスタッフブログにおいては、カテゴリーページと検索結果ページは、重複コンテンツ対策として、noindexにしているのですが、記事一覧ページが「クロール済み - インデックス未登録」となってしまうと、肝心の記事ページへの内部リンクがない状態になっている可能性があるのです。

そして現状ではこの改善方法は見えておらず、肝心の記事ページへの内部リンクについては、基本的にはその他の記事ページから内部リンクを行うことで補おうと考えております。

記事ページからの内部リンクであれば、仮に内部リンク元のページが「クロール済み - インデックス未登録」であったとしても、対策が取りやすいので、比較的解消することが容易ですが、記事一覧ページの解消は本当に難しいものになっております。

弊社が行った記事一覧ページの対策としては、重複コンテンツをなくすことになっており、しっかりと重複コンテンツをなくしていくことで、スタッフブログの2ページ目以降もインデックスされるようになると現段階では考えております。

そして、この重複コンテンツを削除する件については、重複コンテンツとSEOのページに対策の結果をご紹介しておりますので、もしご興味がございましたら、重複コンテンツとSEOのページをご覧ください。

ちなみに重複コンテンツを削除した結果については、現段階では重複コンテンツの削除から10日ほどが経過しておりますが、SEO効果を得ることはできておりませんし、スタッフブログの2ページ目以降の「クロール済み - インデックス未登録」の改善もできておりませんが、しかしインデックスされているページから内部リンクを行うことでインデックスされておりましたので、Web制作時からしっかりとこの内部リンクを意識することも大切な要素の一つになると思います。

「クロール済み - インデックス未登録」の改善法は大変

「クロール済み - インデックス未登録」の改善法としては、基本的にはリライトの実施と、内部・外部リンク数を増やすことになっており、Web制作時からこれらをしっかりと検討することが大切になります。

「検出 - インデックス未登録」では、弊社ではリライト作業を行わずに改善ができているのですが、この「クロール済み - インデックス未登録」については、リライト作業がないと改善することはほぼ不可能であると思っております。

ただし、被リンク数を膨大に獲得できる場合には、リライトは不要かもしれませんが、基本的にはこれらの膨大な被リンク数を獲得できることは非常に稀なケースになるので、基本的な対策としては、リライト作業あり気で考えるといいでしょう。

そしてリライトを行った後に、グーグルに該当ページが価値があることを伝えるために、被リンク対策を行うようにしなくてはならず、ここまで行って初めて、グーグルは「クロール済み - インデックス未登録」を解除してくれると思います。

もっと効率の良い対策があるかもしれませんが、現状で弊社で把握しているのは上記の対策になっており、もし「クロール済み - インデックス未登録」でお困りで、対策法が分からないという場合は、ぜひ一度上記対策を試してみることをオススメいたします。