robots.txtでAI学習を断れる？共通の仕組みと、その限界
はじめに
自分のサイトが、生成AIの学習に使われるかどうか気になったことはあるでしょうか。僕のような弱小サイトの管理者はともかく、Webメディアなどにとっては事業に関わる重要な問題でしょう。
2026年10月、GoogleやOpenAIなどは、サイト運営者がAI学習への意向を共通の方法で伝えられる仕組みへの対応方針を発表しました。使うのは「robots.txt」というファイルです。
ただ、設定すれば過去の学習も含めてすべて取り消せる、という魔法の仕組みではなさそうです。今回は新たに発表されたこの仕組みと限界を整理してみます。なお、現時点では標準化の途中にある提案で、各社の対応開始時期にも差があります。
robots.txtとは
robots.txtは、サイトのルートに置き、検索エンジン等のクローラーに「どのページへアクセスしてよいか」を伝えるテキストファイルです。SEOの文脈で語られる場合が多く、巡回してほしくない場所を指定する用途等で利用されます。
ただ、これはアクセス制限の仕組みではありません。技術的にはボットやエージェントに対し、明示的な条件を伝えているに過ぎず、検索結果への掲載も確実には防げません。非公開情報を守るには、認証など別の対策が必要です。
AI学習への意向を共通で伝える
今回の案では、robots.txtに共通の指定を記述し、参加する複数の事業者に生成AIの学習への利用を拒否する意向を伝えます。サイト全体で学習への利用を拒否する記述例は、以下の通りです。
User-Agent: __usage_ai-training
Disallow: /これは特定のクローラーの名前ではなく、学習という用途への意向を示す指定です。従来の事業者別の設定も残り、共通化によって管理の手間を減らすことが期待されます。
注意したいのは、この指定に対応しない事業者による学習利用まで防げるわけではない、という点です。どうしてもAIによる学習を防ぎたい場合、結局のところより根本的な対策が有効でしょう。ページ自体にアクセス制限をかけたり、そもそもインターネットに公開しないといった手段を検討した方がいいかもしれません。
すでに学習された情報や、AIの閲覧はどうなる？
新たに拒否を設定しても、それだけで過去に取得されたデータが削除されたり、学習済みモデルから内容が取り除かれたりする仕組みではありません。一方で、今後取得されるコンテンツについて、学習への利用を拒否する意向を伝える意味はあります。
また、AIが回答時にページを参照することと、モデルの学習は別の用途です。この共通指定はページの取得そのものを禁止するものではないため、学習への利用を拒否していても、別の用途で取得されることはあります。
事業者ごとの違いにも注意が必要そうです。たとえばGoogleは、Google-Extendedの明示的な指定がない場合、共通指定による学習拒否をGoogle-Extendedの拒否として扱う予定です。このため、Geminiなどでの回答生成時の参照にも影響します。この辺りは、正式対応時の各社の説明に沿って判断したいところですね。
さいごに
共通指定は、対応する事業者に学習への利用意向をまとめて伝える手段です。すべてのAI利用を止められるわけではありませんが、設定を管理する負担は減らせそうです。学習への利用と回答時の参照を分けて考えながら、各社の対応状況を確認していきたいと思います。
