クロールバジェットとは？Googleの公式表明内容とSEOとの関係

SEOにおいて、クロールバジェットという言葉が使われることがあります。ウェブページは、検索エンジンに見つけてもらって初めて検索エンジンの検索対象となるわけであり、検索エンジンのロボットがウェブページを見つけるために行っている行為をクロールと呼びます。

クロールバジェットについて、2017年にGoogleが公式に示した内容がありますので、それについて触れつつ、SEOにおいて知っておくべきクロールバジェットの正体と、対策について解説いたします。

クロールバジェットとは？

そもそもクロールとは何かと言うと、Googleなどの検索エンジンのロボットがWebページを見つけるために巡回することを指します。ロボットを動かすのにもリソースを使います。世界中に無数とも言えるぐらいに存在するウェブページの全てを平等にクロールするわけにもいかないので、サイトごとにクロールする数を決めているだろう、という見方がされているのが、クロールバジェットという言葉の意味です。

つまり、クロールバジェットという言葉は「サイトごとの１回にクロールするページ数の上限枠」の意味で用いられてきています。

サイト全体の評価が高い（ドメインパワーが高い）サイトの方がクロールの頻度が高いというのもありますが、頻度についてはクロールバジェットとは異なります。

Googleは、クロールの割り当ては次のように決まるとしています。

クロールの割り当ては、Googlebot によるクロールが可能であり、かつクロールが必要な URL の数であると定義できます。

検索セントラル

クロールバジェットの決定要因

クロールバジェットは、価値の低いページが多数ある場合に下げられることがあります。価値の低いページというのは、次のようなものです。

• サイト内の重複コンテンツ
• ソフトエラーページ
• ハッキングされたページ
• 品質の低いページ
• スパムコンテンツ

クロール頻度の決定要因

混合しやすいですが、ここでは「クロールの頻度」と「クロールバジェット」は分けて考えています。

クロールの頻度は、サイト全体の評価が高いほど高く、また同じサイトの中でも人気の高いページほど高くなります。

サイトの応答速度が遅い場合、クロール頻度が下がります。

クロールバジェットを気にすべきサイト

ページ数が数千もない場合、クロールは効率的に行われるとGoogleは述べています。

つまり、ほとんどのサイトはクロールバジェットのことは気にしなくても問題ありません。

ページ数が１万以上あり、かつ更新頻度が高いようなサイトの場合は、クロールバジェットの問題でなかなか新しく更新したページが検索対象にならないという問題が起こり得ます。

なお、ここで言及しているのはクロールバジェットであって、クロール頻度についてはサイトの評価を高めることで高めることができます。

クロールバジェットの問題が生じているかどうかの確認方法

クロールバジェットの問題が生じているかどうかは、Googleサーチコンソールの「ページ」メニューで、

「検出 - インデックス未登録」

となっているページを確認しましょう。
似た内容で「クロール済み – インデックス未登録」というステータスがありますが、こちらはクロールはしてくれているものなので、クロールバジェットの問題とは関係がありません。

「検出 – インデックス未登録」の状態のページがあって、そこにクロールして欲しいページがある場合は対処が望まれます。

クロールバジェットの問題の解消法

クロールバジェットの問題が生じている場合は、以下のような対処を考えましょう。

• 重複コンテンツの排除
• ページ品質の向上
• XMLサイトマップの配置
• robots.txtの配置
• 低品質なページをnoindexまたはrobots.txtでクロール対象外に指定する

よくある解決策としては、以下のような検索対象にならなくてもよいページについては削除またはnoindexまたはrobots.txtによってクロール対象外を指定するというものです。

• お知らせ
• 趣味のブログ

まとめ

大規模なサイトの場合は、まずサーチコンソールで「検出 -インデックス未登録-」のページの中身を確認し、クロールすべきだと思うページがクロールされてなければクロール対象を絞るなどの対処を考えましょう。

よろしければBringFlowerにご相談ください。