GoogleがCDN移行後のクロール急増を解説、ボット対策の誤ブロックに注意
Google検索セントラルがCDN移行直後にクロールが急増する理由と対策を解説。空のキャッシュと一律のボット対策がGooglebotを止める恐れがあるため、移行前後の確認点を整理します。
公的機関・公式資料などの一次情報と照合して作成しています。このサイトについて
Google検索セントラルのブログに、CDN(コンテンツ配信ネットワーク)へ移行した直後にGooglebotのアクセスが急に増える理由と、その対策を解説する記事「Moving to a CDN without overwhelming your origin (or blocking Googlebot)」(筆者訳:CDNに移行するとき、オリジンを圧迫せず、Googlebotも止めないために)が2026年11月11日に公開されました。ブログやアフィリエイトサイトでCDNを導入している、またはこれから導入する運営者にとって、移行時の手順とボット対策の設定を見直すきっかけになる内容です。
CDNに移ると、なぜクロールが急に増えるのか
Googleの元記事によると、クロール(クローラーによる巡回)の上限は、サーバーの応答の速さに左右されます。クロールの需要があれば、応答が速く安定しているサイトに対して、Googleは上限を徐々に引き上げます。DNSをCDNの高速なエッジネットワークに向けると、接続時間や応答時間が大きく下がるため、クロールが増えやすくなる、という説明です。なお元記事は、クローラーがすぐにクロール量を増やすわけではない、という点にも触れています。
そこに、新しいCDNのキャッシュは最初は空(コールドキャッシュ)だという事情が重なります。キャッシュにないURLへのリクエストは、すべてキャッシュミスとして元のサーバー(オリジン)に届きます。人間の訪問者は人気のページに集まり、そのキャッシュはすぐに温まります。一方でクローラーは幅広いURLを巡回するため、キャッシュが温まるまでの間、オリジンがその負荷を引き受けることになります。元記事は、これを移行直後に起きやすい状況として挙げています。
一律のボット対策が、Googlebotを止めてしまう
元記事が特に注意しているのは、負荷を抑えようとして、CDNやWAF(Webアプリケーションファイアウォール)で一律のボット対策を有効にすることです。CAPTCHAなどですべての自動アクセスを止めると、検証済みのGoogleのクローラーも止まります。元記事は、そうなるとクローラーが引いていき、ページが検索結果から外れはじめる、と書いています。
要約すると、Googleのクローラーに対して、403の「壁」やチャレンジページを返す設定は避けるべきだ、という趣旨です。オリジン保護のために一時的な制限が必要なら、後述の429または503を使う、という整理になっています。
移行前・移行中・移行後の3つの手当て
| 対策 | 内容 |
|---|---|
| 検証済みボットを許可 | ボットをブロックする必要がある場合は、CDNやWAFで検証済みのクローラーを除外する。主要なCDNやWAFには、切り替えスイッチやマネージドルールがあるとされる。Googleの公開IP範囲で、Googlebotかどうかを確認できる。不要なボットだけを狙うルールやrobots.txtの活用も提案 |
| キャッシュの事前ウォームアップ | 全トラフィックを新しいCDN経由にする前に、人気ページ、今後ピークを迎えるページ(販促や季節の公開など)、頻繁にクロールされるURLを、制御したペースで取得してキャッシュさせる |
| 一時的な制限 | それでもオリジンが苦しい場合は、レート制限で429(Too Many Requests)か503(Service Unavailable)を返す。期間は数時間、長くても1〜2日程度 |
元記事の要点は、応答が速いほどクロールは増える、キャッシュが守ってくれるのは2回目以降のアクセスから、必要に応じて検証済みクローラーをチャレンジの対象から外す、の3点にまとめられています(要約)。
なお、クロール頻度を下げる方法を説明したGoogleのドキュメントでは、500・503・429が一時的な対処として挙げられています。同じURLでこれらのステータスコードを数日間返し続けると、そのURLがインデックスから外れる場合がある、という趣旨の記載もあるため、短期の措置にとどめる前提です。
ボット対策の画面で確かめたいこと
元記事はCDN導入の是非ではなく、移行時の注意点を扱っています。次の項目は、元記事の趣旨を踏まえた筆者の確認リストで、Googleが示したものではありません。
- CDNやWAFのボット対策機能が、検証済みのGooglebotを除外する設定になっているか(設定項目の名前はサービスごとに違うため、各社の公式ドキュメントで確認する)
- CDNの導入や設定変更の前後で、Search Consoleのクロールの統計情報などに、クロール数や応答時間の極端な変化がないか
- 429・503を返す設定は、一時的な措置にとどめる
- 新しいCDNに切り替えるときは、元記事のとおり、公開済みの人気ページやピークを迎えるページを、事前にスクリプトなどで制御したペースで取得してキャッシュさせる
筆者の見方:慌てて止める前に、まず観察する
ここからは筆者の考えです。CDNの移行直後は、速さによるクロールの増加と、空のキャッシュという2つの現象が重なります。そのタイミングでログに急増したアクセスを見て不安になり、一律のブロックをかけてしまうと、問題が3つ重なります。運営者が実際に手を出せるのは、この3つ目の「止めるかどうか」だけです。元記事も、クローラーはすぐにクロール量を増やすわけではない、と書いているため、急増が本当にGooglebotによるものかを、まずログで確かめる順序のほうが安全だと考えます。
個人運営のブログでは、サーバーの負荷そのものより、設定を変えたことに気づかないまま検索からの流入が減るほうが、収益への影響が大きいと見ています。手順としては、移行前にプレウォーム、切り替え後の数日間はログとSearch Consoleの数値を観察し、必要なときだけ短期の429・503を使う、という流れが現実的です。「守る設定」はオリジンの手前に置き、検証済みボットの例外はその一段上で扱う、という分け方にしておくと、あとから見直しやすくなります。ただし、これは筆者の整理で、個々のサイトに合わせた指示ではありません。
PR エックスサーバー
WordPressを、速く・止まらずに運営したい方へ
サーバー選びを間違えると、表示が遅い・サイトが止まるリスクがあります
こんなお悩みはありませんか?
- どのレンタルサーバーを選べばよいか分からない
- 表示が遅い・サイトが落ちるのが心配
- WordPressの設定やセキュリティに自信がない
サーバーは、あとから乗り換えると、データの移行やドメインの設定に手間がかかります。表示が遅い、突然止まるといったトラブルは、訪問者が離れる原因にもなります。最初に、稼働率の保証や実績を確認して選ぶのが安全です。
エックスサーバーなら、WordPressの運営に強いレンタルサーバーを、迷わず選べます。国内でWordPressを利用して運用されているサイトの集計(Dataprovider.com調べ、2025年6月)で、国内シェアNo.1と公式サイトに記載されています。
選ばれるポイント
- WordPressサイトの国内シェアNo.1。実績で選びたいときの安心材料(Dataprovider.com調べ、2025年6月)
- サイトが止まりにくい。月間稼働率99.99%以上を保証し、下回ると月額費用の一部を返金
- 攻撃に強い。WordPressを狙った攻撃の99%以上を未然に防ぐ機能(2024年9月15日〜11月15日の当社調べ)
- ドメイン代を節約できる。独自ドメインが永久無料(対象ドメイン・契約期間などの条件あり)
- テーマ選びも安心。人気テーマ「Cocoon」の開発・提供元が運営
- 10日間の無料お試しで、契約前に操作や表示の速さを確かめられる
10日間の無料お試しで、契約前に試せます
10日間無料でお試し
広告(アフィリエイト)を含みます。特長は2026年11月8日時点の公式サイトの記載で、数値・順位は各調査・調べの時点のものです。料金・条件は公式サイトでご確認ください。
出典(一次情報)
- Google 検索セントラル ブログ「Moving to a CDN without overwhelming your origin (or blocking Googlebot)」(Cherry Prommawin、Gary Illyes、2026年11月11日公開)
- Google クローラーとフェッチャーからのリクエストを検証する(元記事から参照されているドキュメント)
- Google クロールレートを下げる方法(元記事から参照されているドキュメント)
2026年11月13日時点の情報です。
本記事は情報提供を目的としており、収益を保証するものではありません。法律・税務に関する内容は一般的な情報であり、個別の判断は弁護士・税理士などの専門家や公的機関の最新情報でご確認ください。「筆者の見解」は一つの考え方です。