SEO

クロールバジェットとは?Googleの公式表明内容とSEOとの関係

SEOにおいて、クロールバジェットという言葉が使われることがあります。ウェブページは、検索エンジンに見つけてもらって初めて検索エンジンの検索対象となるわけであり、検索エンジンのロボットがウェブページを見つけるために行っている行為をクロールと呼びます。

クロールバジェットについて、2017年にGoogleが公式に示した内容がありますので、それについて触れつつ、SEOにおいて知っておくべきクロールバジェットの正体と、対策について解説いたします。

クロールバジェットとは?

そもそもクロールとは何かと言うと、Googleなどの検索エンジンのロボットがWebページを見つけるために巡回することを指します。ロボットを動かすのにもリソースを使います。世界中に無数とも言えるぐらいに存在するウェブページの全てを平等にクロールするわけにもいかないので、サイトごとにクロールする数を決めているだろう、という見方がされているのが、クロールバジェットという言葉の意味です。

つまり、クロールバジェットという言葉は「サイトごとの1回にクロールするページ数の上限枠」の意味で用いられてきています。

サイト全体の評価が高い(ドメインパワーが高い)サイトの方がクロールの頻度が高いというのもありますが、頻度についてはクロールバジェットとは異なります。

Googleは、クロールの割り当ては次のように決まるとしています。

クロールの割り当ては、Googlebot によるクロールが可能であり、かつクロールが必要な URL の数であると定義できます。

検索セントラル

クロールバジェットの決定要因

クロールバジェットは、価値の低いページが多数ある場合に下げられることがあります。価値の低いページというのは、次のようなものです。

  • サイト内の重複コンテンツ
  • ソフトエラーページ
  • ハッキングされたページ
  • 品質の低いページ
  • スパムコンテンツ

クロール頻度の決定要因

混合しやすいですが、ここでは「クロールの頻度」と「クロールバジェット」は分けて考えています。

クロールの頻度は、サイト全体の評価が高いほど高く、また同じサイトの中でも人気の高いページほど高くなります。

サイトの応答速度が遅い場合、クロール頻度が下がります。

クロールバジェットを気にすべきサイト

ページ数が数千もない場合、クロールは効率的に行われるとGoogleは述べています。

つまり、ほとんどのサイトはクロールバジェットのことは気にしなくても問題ありません。

ページ数が1万以上あり、かつ更新頻度が高いようなサイトの場合は、クロールバジェットの問題でなかなか新しく更新したページが検索対象にならないという問題が起こり得ます

なお、ここで言及しているのはクロールバジェットであって、クロール頻度についてはサイトの評価を高めることで高めることができます。

クロールバジェットの問題が生じているかどうかの確認方法

クロールバジェットの問題が生じているかどうかは、Googleサーチコンソールの「ページ」メニューで、

「検出 - インデックス未登録」

となっているページを確認しましょう。
似た内容で「クロール済み – インデックス未登録」というステータスがありますが、こちらはクロールはしてくれているものなので、クロールバジェットの問題とは関係がありません。

「検出 – インデックス未登録」の状態のページがあって、そこにクロールして欲しいページがある場合は対処が望まれます。

クロールバジェットの問題の解消法

クロールバジェットの問題が生じている場合は、以下のような対処を考えましょう。

よくある解決策としては、以下のような検索対象にならなくてもよいページについては削除またはnoindexまたはrobots.txtによってクロール対象外を指定するというものです。

  • お知らせ
  • 趣味のブログ

まとめ

大規模なサイトの場合は、まずサーチコンソールで「検出 -インデックス未登録-」のページの中身を確認し、クロールすべきだと思うページがクロールされてなければクロール対象を絞るなどの対処を考えましょう。

よろしければBringFlowerにご相談ください。

著者のイメージ画像

株式会社BringFlower
稲田 高洋(Takahiro Inada)

2003年から大手総合電機メーカーでUXデザインプロセスの研究、実践。UXデザイン専門家の育成プログラム開発。SEOにおいても重要なW3Cが定めるWeb標準仕様策定にウェブアクセシビリティの専門家として関わる。2010~2018年に人間中心設計専門家を保有、数年間ウェブアクセシビリティ基盤委員も務める。その後、不動産会社向けにSaaSを提供する企業の事業開発部で複数サービスを企画、ローンチ。CMSを提供し1000以上のサイトを分析。顧客サポート、サイト運営にも関わる。
2022年3月にBringFlowerを開業し、SEOコンサル、デザイン、ウェブ制作を一手に受ける。グッドデザイン賞4件、ドイツユニバーサルデザイン賞2件、米国IDEA賞1件の受賞歴あり。