サイトを速くするために CDN(コンテンツ配信ネットワーク。世界各地のサーバーにページのコピーを置いて配信する仕組み)を導入したのに、切り替えた直後からサーバーへのアクセスがかえって増えた。こうした相談は珍しくないと、Google 自身が説明しています。
2026年11月11日(米国時間)、Google は検索セントラル ブログで「オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する」を公開し、同じテーマの動画も公開しました。動画は Google の Gary Illyes(ゲイリー・イリーズ)氏と Cherry Prommawin(チェリー・プロンマウィン)氏による解説シリーズ「The Non-Canonical Cabinet」の第5回で、シーズン1の最終回です。
本記事では、ブログと動画の要点を、Google のクロールに関する公式ドキュメントと照らし合わせて整理します(2026年11月17日時点)。
公開されたブログと動画
- ブログ:「オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する」(2026年11月11日・日本語版あり)(出典:オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する – Google Search Central Blog)
- 動画:「Moved to a CDN: Why Is Everything Crawling Everywhere All at Once?」(約9分・英語)(出典:Moved to a CDN: Why Is Everything Crawling Everywhere All at Once? – YouTube)
ブログは、CDN へ移行するときに起きることと、その対処を説明する内容です。CDN に移る前に、クロール バジェット(Google がサイトをどれだけクロールするかの考え方)と、緊急時にクロール頻度を下げる方法を確認しておくよう勧めています。
なぜ CDN に移すとクロールが増えるのか
ブログによると、理由は Google がサイトごとの「クロール容量の制限」(ホスト負荷とも呼ばれる、サーバーに負担をかけない範囲のクロール量)を決める仕組みにあります(出典:オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する – Google Search Central Blog)。
- サーバーの応答が遅くなると、Google はサーバーに負担をかけないようにクロールを遅くする。
- 応答が速く安定していると、Google はサーバーに余裕があると判断し、クロールの需要があればクロール容量の制限を少しずつ引き上げる。
CDN に切り替えると、応答時間が大幅に短くなります。ブログは、Google のクロールの仕組みからは「サーバーのハードウェアを大幅に強化したように見える」ため、クローラーがリクエストを増やし始めると説明しています。
クロール容量の制限とクロール需要の考え方は、クロール バジェットのドキュメントにまとまっています(出典:クロール バジェットの管理 – Google クロール インフラストラクチャ)。
問題は「空のキャッシュ」
クロールが増えても、CDN がすべてのリクエストを受け止めてくれれば問題はありません。ブログが指摘する問題は、新しい CDN のキャッシュが空の状態から始まることです。
- ある URL への最初のリクエストでは、CDN のサーバーにまだコピーがない(キャッシュミス)。CDN は元のサーバー(オリジン サーバー)まで取りに行き、コピーを保存してから返す。
- 同じ URL への2回目以降のリクエストだけが、オリジン サーバーに届かずに CDN から返される。
さらに、人間の訪問者とクローラーでは見るページが違います。人間はトップページや人気記事など少数のページに集まるので、そのページのキャッシュはすぐにたまります。一方、クローラーはサイトの URL を幅広く順番にたどるため、多くのリクエストがキャッシュミスになり、オリジン サーバーにそのまま届きます。
ブログは、クローラーがすぐにクロール頻度を上げるわけではないこと、多くの CDN にはアクセスの急増をやわらげる機能があることにも触れています。それでも、キャッシュがたまる(ウォームアップされる)までは CDN は盾にならず、オリジン サーバーが負荷を受け続ける、というのがブログの説明です。
ボット対策を一律にかけると Googlebot も止まる
移行直後のアクセスログで自動アクセスの急増を見ると、攻撃だと考えて、CDN の管理画面でボット対策を一律に有効にしたくなります。ブログはここに落とし穴があると説明しています。
- 一律のボット対策には例外がないため、Google のクローラーを含むすべての自動アクセスが同じように扱われる。
- CDN や WAF(ウェブ アプリケーション ファイアウォール)が自動アクセスに CAPTCHA などの確認をかけると、Google のクローラーは通過できない。
- そのままにすると、Google からはサイトがアクセスを制限しているか壊れているように見え、クローラーはクロールを控え、ページや商品が検索結果から外れ始める。
(出典:オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する – Google Search Central Blog)
Google が勧める3つの対策
ブログは、移行時の対策として次の3つを挙げています。
1. ボットを止めるなら、確認済みのクローラーは許可する
主要な CDN や WAF の多くには、既知のボットや確認済みのボットを許可する設定が用意されています。これを使えば、不要なアクセスを止めながら、Google のクローラーは CAPTCHA などを通らずにアクセスできます。すべての自動アクセスを止めるのではなく、robots.txt や個別のルールで、止めたい特定のボットだけを対象にすることも勧めています。
Google のクローラーかどうかは、Google が公開している IP アドレスの範囲や、逆引き DNS で確かめられます。確かめ方は公式ドキュメントにまとまっています(出典:Google クローラーとフェッチャーからのリクエストを確認する – Google クロール インフラストラクチャ)。
2. 切り替える前にキャッシュをためておく
すべてのアクセスを新しい CDN に向ける前に、アクセスの多いページ、今後アクセスが増えるページ(セールや季節の企画など)、よくクロールされる URL を、CDN 経由で少しずつ取得しておき、キャッシュをためておく方法です。
3. 一時的にクロールを抑えたいときは 429 か 503 を返す
キャッシュがたまる間に、クロールがオリジン サーバーに大きな負担をかけている場合は、サーバーや CDN のレート制限で、短い期間(数時間、長くても1〜2日)だけ 429(Too Many Requests)か 503(Service Unavailable)を返すよう勧めています。403 のエラーページや確認画面でクローラーをふさぐのではなく、一時的な 429・503 を使う、という整理です。
公式ドキュメントで確認できること
対策3は、「Google のクロール頻度を下げる」ドキュメントの内容と一致します。ドキュメントでは、500・503・429 を返す URL が多く見つかるとホスト名全体でクロール頻度が下がり、エラーが減ると自動的に回復すること、503 か 429 と一緒に Retry-After ヘッダーで再試行のタイミングを伝えられることが説明されています(出典:Google のクロール頻度を下げる – Google のクロール インフラストラクチャ)。
同じドキュメントは、注意点も2つ挙げています。
- 1〜2日では済まない長い期間には、この方法は勧めない。同じ URL で数日にわたってこれらのステータスコードが返ると、その URL がインデックスから削除される場合がある。
- クロール頻度を下げると、新しいページが見つかりにくくなる、既存ページの更新(価格や在庫など)の反映が遅れる、削除したページがインデックスに長く残る、といった影響が出ることがある。
このドキュメントの 2026年10月の更新内容と、Retry-After ヘッダーの書き方は、当社の記事でも詳しく解説しています(参考:Google「クロール頻度を下げる」ドキュメント更新(2026年10月)|503・429とRetry-Afterヘッダーの使い方)。
CDN に移行する前の確認ポイント
ブログと公式ドキュメントの内容を、移行の作業に沿って並べると次のようになります。
| タイミング | 確認すること | 根拠 |
|---|---|---|
| 移行前 | CDN・WAF で「確認済みのボットを許可する」設定があるか、有効にできるか | ブログ(対策1) |
| 移行前 | アクセスの多いページ・よくクロールされる URL を CDN 経由で取得し、キャッシュをためておく | ブログ(対策2) |
| 移行直後 | オリジン サーバーのアクセスログで、急増しているのが Google のクローラーかどうかを IP・逆引き DNS で確かめる | クローラーの確認方法のドキュメント |
| 負荷が高いとき | 一律のボット対策ではなく、短期間だけ 429・503(Retry-After つき)を返す | ブログ(対策3)・クロール頻度を下げるドキュメント |
| 数日後 | 429・503 を返し続けていないか(数日続くとインデックスから外れる場合がある) | クロール頻度を下げるドキュメント |
シリーズの前の回との関係
「The Non-Canonical Cabinet」シーズン1では、URL、robots.txt、404、リダイレクトを扱ってきたとブログは振り返っています。当社では次の回の内容を解説しています。
- GoogleがURLテーマの新動画シリーズを開始|URLのキーワードは「極めて小さな」シグナル、区切りはハイフン推奨
- Googleがrobots.txtの「書けること」を動画で解説|認識する命令は4種類、日本語パスはパーセントエンコード
- Google「404 は怖くない」動画の要点|公式ドキュメントで照合する 4xx・5xx・429 と削除 URL の扱い
404 の回で扱った「429 を除く 4xx はインデックスから外れる原因になる」という整理は、今回の「403 や確認画面でクローラーをふさがない」という対策とつながっています。
まとめ
- CDN に移すと応答が速くなり、Google はサーバーに余裕があると判断してクロールを増やすことがある。キャッシュが空のうちは、そのリクエストの多くがオリジン サーバーに届く。
- 自動アクセスの急増を見て一律のボット対策をかけると、Google のクローラーまで止まり、ページが検索結果から外れ始めるおそれがある。
- 対策は、確認済みのクローラーの許可、切り替え前のキャッシュの準備、短期間だけの 429・503 の3つ。429・503 を数日以上続けないことも公式ドキュメントで確認できる。

