CDN に移行したらクロールが急増?|Google が解説する原因と、Googlebot を止めない3つの対策

サイトを速くするために CDN(コンテンツ配信ネットワーク。世界各地のサーバーにページのコピーを置いて配信する仕組み)を導入したのに、切り替えた直後からサーバーへのアクセスがかえって増えた。こうした相談は珍しくないと、Google 自身が説明しています。

2026年11月11日(米国時間)、Google は検索セントラル ブログで「オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する」を公開し、同じテーマの動画も公開しました。動画は Google の Gary Illyes(ゲイリー・イリーズ)氏と Cherry Prommawin(チェリー・プロンマウィン)氏による解説シリーズ「The Non-Canonical Cabinet」の第5回で、シーズン1の最終回です。

本記事では、ブログと動画の要点を、Google のクロールに関する公式ドキュメントと照らし合わせて整理します(2026年11月17日時点)。

Search Times

公開されたブログと動画

ブログは、CDN へ移行するときに起きることと、その対処を説明する内容です。CDN に移る前に、クロール バジェット(Google がサイトをどれだけクロールするかの考え方)と、緊急時にクロール頻度を下げる方法を確認しておくよう勧めています。

なぜ CDN に移すとクロールが増えるのか

ブログによると、理由は Google がサイトごとの「クロール容量の制限」(ホスト負荷とも呼ばれる、サーバーに負担をかけない範囲のクロール量)を決める仕組みにあります(出典:オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する – Google Search Central Blog)。

  • サーバーの応答が遅くなると、Google はサーバーに負担をかけないようにクロールを遅くする。
  • 応答が速く安定していると、Google はサーバーに余裕があると判断し、クロールの需要があればクロール容量の制限を少しずつ引き上げる。

CDN に切り替えると、応答時間が大幅に短くなります。ブログは、Google のクロールの仕組みからは「サーバーのハードウェアを大幅に強化したように見える」ため、クローラーがリクエストを増やし始めると説明しています。

クロール容量の制限とクロール需要の考え方は、クロール バジェットのドキュメントにまとまっています(出典:クロール バジェットの管理 – Google クロール インフラストラクチャ)。

問題は「空のキャッシュ」

クロールが増えても、CDN がすべてのリクエストを受け止めてくれれば問題はありません。ブログが指摘する問題は、新しい CDN のキャッシュが空の状態から始まることです。

  • ある URL への最初のリクエストでは、CDN のサーバーにまだコピーがない(キャッシュミス)。CDN は元のサーバー(オリジン サーバー)まで取りに行き、コピーを保存してから返す。
  • 同じ URL への2回目以降のリクエストだけが、オリジン サーバーに届かずに CDN から返される。

さらに、人間の訪問者とクローラーでは見るページが違います。人間はトップページや人気記事など少数のページに集まるので、そのページのキャッシュはすぐにたまります。一方、クローラーはサイトの URL を幅広く順番にたどるため、多くのリクエストがキャッシュミスになり、オリジン サーバーにそのまま届きます。

ブログは、クローラーがすぐにクロール頻度を上げるわけではないこと、多くの CDN にはアクセスの急増をやわらげる機能があることにも触れています。それでも、キャッシュがたまる(ウォームアップされる)までは CDN は盾にならず、オリジン サーバーが負荷を受け続ける、というのがブログの説明です。

ボット対策を一律にかけると Googlebot も止まる

移行直後のアクセスログで自動アクセスの急増を見ると、攻撃だと考えて、CDN の管理画面でボット対策を一律に有効にしたくなります。ブログはここに落とし穴があると説明しています。

  • 一律のボット対策には例外がないため、Google のクローラーを含むすべての自動アクセスが同じように扱われる。
  • CDN や WAF(ウェブ アプリケーション ファイアウォール)が自動アクセスに CAPTCHA などの確認をかけると、Google のクローラーは通過できない。
  • そのままにすると、Google からはサイトがアクセスを制限しているか壊れているように見え、クローラーはクロールを控え、ページや商品が検索結果から外れ始める。

(出典:オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する – Google Search Central Blog)

Google が勧める3つの対策

ブログは、移行時の対策として次の3つを挙げています。

1. ボットを止めるなら、確認済みのクローラーは許可する

主要な CDN や WAF の多くには、既知のボットや確認済みのボットを許可する設定が用意されています。これを使えば、不要なアクセスを止めながら、Google のクローラーは CAPTCHA などを通らずにアクセスできます。すべての自動アクセスを止めるのではなく、robots.txt や個別のルールで、止めたい特定のボットだけを対象にすることも勧めています。

Google のクローラーかどうかは、Google が公開している IP アドレスの範囲や、逆引き DNS で確かめられます。確かめ方は公式ドキュメントにまとまっています(出典:Google クローラーとフェッチャーからのリクエストを確認する – Google クロール インフラストラクチャ)。

2. 切り替える前にキャッシュをためておく

すべてのアクセスを新しい CDN に向ける前に、アクセスの多いページ、今後アクセスが増えるページ(セールや季節の企画など)、よくクロールされる URL を、CDN 経由で少しずつ取得しておき、キャッシュをためておく方法です。

3. 一時的にクロールを抑えたいときは 429 か 503 を返す

キャッシュがたまる間に、クロールがオリジン サーバーに大きな負担をかけている場合は、サーバーや CDN のレート制限で、短い期間(数時間、長くても1〜2日)だけ 429(Too Many Requests)か 503(Service Unavailable)を返すよう勧めています。403 のエラーページや確認画面でクローラーをふさぐのではなく、一時的な 429・503 を使う、という整理です。

公式ドキュメントで確認できること

対策3は、「Google のクロール頻度を下げる」ドキュメントの内容と一致します。ドキュメントでは、500・503・429 を返す URL が多く見つかるとホスト名全体でクロール頻度が下がり、エラーが減ると自動的に回復すること、503 か 429 と一緒に Retry-After ヘッダーで再試行のタイミングを伝えられることが説明されています(出典:Google のクロール頻度を下げる – Google のクロール インフラストラクチャ)。

同じドキュメントは、注意点も2つ挙げています。

  • 1〜2日では済まない長い期間には、この方法は勧めない。同じ URL で数日にわたってこれらのステータスコードが返ると、その URL がインデックスから削除される場合がある。
  • クロール頻度を下げると、新しいページが見つかりにくくなる、既存ページの更新(価格や在庫など)の反映が遅れる、削除したページがインデックスに長く残る、といった影響が出ることがある。

このドキュメントの 2026年10月の更新内容と、Retry-After ヘッダーの書き方は、当社の記事でも詳しく解説しています(参考:Google「クロール頻度を下げる」ドキュメント更新(2026年10月)|503・429とRetry-Afterヘッダーの使い方)。

CDN に移行する前の確認ポイント

ブログと公式ドキュメントの内容を、移行の作業に沿って並べると次のようになります。

スクロールできます
タイミング確認すること根拠
移行前CDN・WAF で「確認済みのボットを許可する」設定があるか、有効にできるかブログ(対策1)
移行前アクセスの多いページ・よくクロールされる URL を CDN 経由で取得し、キャッシュをためておくブログ(対策2)
移行直後オリジン サーバーのアクセスログで、急増しているのが Google のクローラーかどうかを IP・逆引き DNS で確かめるクローラーの確認方法のドキュメント
負荷が高いとき一律のボット対策ではなく、短期間だけ 429・503(Retry-After つき)を返すブログ(対策3)・クロール頻度を下げるドキュメント
数日後429・503 を返し続けていないか(数日続くとインデックスから外れる場合がある)クロール頻度を下げるドキュメント

シリーズの前の回との関係

「The Non-Canonical Cabinet」シーズン1では、URL、robots.txt、404、リダイレクトを扱ってきたとブログは振り返っています。当社では次の回の内容を解説しています。

404 の回で扱った「429 を除く 4xx はインデックスから外れる原因になる」という整理は、今回の「403 や確認画面でクローラーをふさがない」という対策とつながっています。

まとめ

  • CDN に移すと応答が速くなり、Google はサーバーに余裕があると判断してクロールを増やすことがある。キャッシュが空のうちは、そのリクエストの多くがオリジン サーバーに届く。
  • 自動アクセスの急増を見て一律のボット対策をかけると、Google のクローラーまで止まり、ページが検索結果から外れ始めるおそれがある。
  • 対策は、確認済みのクローラーの許可、切り替え前のキャッシュの準備、短期間だけの 429・503 の3つ。429・503 を数日以上続けないことも公式ドキュメントで確認できる。

SEOに必要な全ての機能を備えた
総合的なSEOプラットフォーム

キーワード順位取得精度100%
競合SEO/PPC調査
詳細なウェブサイト検査

この記事を書いた人

SEOは考え方はシンプルですが、いざ実践するとなかなか思うようにいきません。
当ブログでは、読者の方に成功も失敗も合わせて情報を共有し、同じような悩みを解決できればという思いで運営しています。
【著書】
「分析が導く 最新SEOプラクティカルガイド」(2022年5月27日発売 技術評論社)
「最強の効果を生みだす 新しいSEOの教科書」(2017年9月20日発売 技術評論社)

>>著者情報の詳細

Search Times