Google、robots.txtはAI利用までは制御できないと説明

Googleのガリー・イリェーシュ氏が、Search Centralの動画シリーズで、robots.txtで制御できる範囲について説明しました。Search Engine Journal（SEJ）の2026年10月22日付の記事によると、robots.txtは、RFC 9309のもとでは「アクセスの希望を伝える仕組み」であり、すでにクロールされたデータをシステムがその後どう使うかまでは決められない、という内容です。自分のブログやアフィリエイトサイトの文章が、AIの学習や回答に使われることが気になる運営者にとって、robots.txtで何ができて、何ができないのかを整理する材料になります。この記事では、SEJの報道と、Googleの公式ドキュメントで確認できる範囲をまとめます。動画そのものは見ておらず、発言の内容はSEJの記事を通じて確認したものです。

robots.txtはクロール後のデータの使い道までは縛らない

SEJによると、これは、イリェーシュ氏とGoogleのCherry Prommawin氏が、コミュニティからの質問に答える動画シリーズ「The Non-Canonical Cabinet」の第2回での発言です。主な内容は次のとおりです。

• robots.txtは、クローラーにアクセスの希望を伝えるプロトコルで、クロールしたあとのデータの扱いまでは指示しない
• 特定のAIクローラーを完全にブロックするには、そのクローラーのユーザーエージェントトークンを、ファイルの中で明示して指定する必要がある

なお、SEJは、RFC 9309が、プロトコルの範囲外の記録をどう扱うかをクローラーに委ねていると補足しています。範囲外の記述を守るかどうかは、そのクローラー次第ということです。

GoogleのAI学習の制御はGoogle-Extended

なお、SEJによると、Google-Extendedは動画では話題になっていません。Googleの公式ドキュメント（Googleの一般的なクローラーの一覧）では、次のように説明されています。

• サイト運営者が、Googleがクロールしたコンテンツを、Gemini AppsとVertex AI API for Geminiを動かす将来世代のGeminiモデルの学習に使ってよいかを管理するためのもの。あわせて、Gemini AppsとGrounding with Google Search on Vertex AIでの、グラウンディング（プロンプト時に検索インデックスの内容をモデルに渡す用途）も対象になる
• 専用のHTTPユーザーエージェントの文字列はなく、既存のGoogleのユーザーエージェントでクロールされる。robots.txtのトークンは、制御のために使われる
• Google検索への掲載には影響せず、検索のランキングシグナルとしても使われない

公式ドキュメントの記述例は、次のような形です（ページの最終更新日は2026年10月15日UTC）。

user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/

Google検索への掲載や順位には影響しないと、公式ドキュメントに明記されています。ただし、他社のAIクローラーについては、それぞれの運営者が示すトークンで、個別に指定する必要があります。

robots.txtを書くときの基本ルール

Googleのrobots.txt仕様のページで確認できる、書き方の基本は次のとおりです。

• サポートされるフィールドは、user-agent、allow、disallow、sitemapの4つ。crawl-delayなどはサポートされない
• パスは「/」から始め、フィールド名は大文字小文字を区別しないが、パスの値は区別する
• 無効な行は無視され、有効な行だけが使われる
• ファイルサイズの上限は500KiBで、超えた部分は無視される
• 日本語などの非ASCIIのパスは、生のUTF-8でもパーセントエンコードでも書くことができ、Googleでは同じように扱われる。ただし、サードパーティのツールで処理する場合は、パーセントエンコードのほうが扱いやすいとされている（SEJも、Google以外のクローラーが生のパスを読み誤るおそれがあるため、パーセントエンコードを勧めています）

仕様ページには、クロールを禁止したページでも、URLが検索結果にスニペットなしで表示されることがある、とも書かれています。robots.txtだけで、検索結果への表示を防げるわけではありません。

IETFが検討するContent-Usageの案

SEJによると、イリェーシュ氏は、MozillaのMartin Thomson氏とともに、IETFのインターネットドラフトを共同で書いています。robots.txtに「Content-Usage」というルールと、対応するHTTPヘッダーを加え、AIの利用に関する希望を伝えられるようにする案で、AllowとDisallowはこれまでどおりクロールの制御に使い、Content-Usageで、クロールしたコンテンツの利用の仕方を示す形です。ドラフトは、作業部会の文書の段階で、まだ標準ではありません。「train-ai」というAI学習のラベルは、別の語彙のドラフトにあり、そちらは作業部会の合意を反映していないと、SEJは伝えています。ドラフトの期限は、新しい版で置き換えられなければ、2027年2月20日です。

運営者が今できること、筆者の見方

ここからは筆者の見方です。現時点で運営者にできることは、大きく3つだと考えます。1つ目は、Googleに対しては、Google-Extendedで、Geminiの学習やグラウンディングへの利用を管理すること。2つ目は、他社のAIクローラーを止めたい場合は、各社が示すユーザーエージェントのトークンを、robots.txtで個別に指定すること。3つ目は、IETFのContent-Usageのような仕組みが標準になるかどうかを見守ることです。

アフィリエイトサイトでは、AIへの利用をどう扱うかは運営方針によって分かれそうです。AIの回答で引用されて訪問につながる場面もあれば、情報だけが使われる場面も考えられ、現時点でどちらが多いかを示すデータは、今回の資料にはありません。また、robots.txtの書き誤りは検索のクロールにも影響するため、変更するときは、Search Consoleのrobots.txtレポートなどで、読み込まれ方を見ておくと安心だと筆者は考えています。

参考にした情報

• Search Engine Journal「Google Explains The Limit Of Robots.txt For AI Content Use」（2026年10月22日）
• Google検索セントラル「Googleの一般的なクローラー」（Google-Extended、最終更新 2026年10月15日UTC）
• Google検索セントラル「robots.txt の仕様」（最終更新 2026年10月23日UTC）

2026年10月26日時点の情報です。