「AIに勝手に情報を使われたくない」という理由で、robots.txtでAI関連のクローラーをまとめて拒否しているサイトを見かけます。しかし、その設定が「学習用の巡回」だけでなく「AIが検索結果や回答の中でサイトを紹介するための巡回」まで一緒にブロックしてしまっているケースが少なくありません。よくある設定の書き方を4つの実例で見直します。

目次

  1. 結論：「AI拒否」の一行が、AI経由の紹介機会も同時に消している
  2. 落とし穴①：AIのクローラーをひとまとめに扱っている
  3. 落とし穴②：「学習用」と「回答時の引用用」を区別していない
  4. 落とし穴③：拒否した後に何が起きるかを検証していない
  5. 落とし穴④：robots.txtを書けば安心だと思っている
  6. なぜこの違いが生まれるのか
  7. 自社のrobots.txtを見直す4つの視点
  8. よくある質問（FAQ）
  9. まとめ：拒否するかどうかの前に、何を拒否しているかを知る

結論：「AI拒否」の一行が、AI経由の紹介機会も同時に消している

robots.txtに「AI系のクローラーは全部拒否」という設定を入れているサイトは珍しくありません。しかし、AI各社は「学習データ収集用」のクローラーと「ユーザーの質問に答えるために今そのページを読みに行く」クローラーを別のUser-Agentとして分けて運用しています。この区別をせずに一括拒否すると、モデルの学習に使われることを避けたつもりが、AIの回答内でサイトが紹介される機会まで一緒に失っている可能性があります。以下、よくある4つの落とし穴を実例で見ていきます。※以下の例は特定の実在サイトを指すものではなく、一般的に見られがちな設定パターンを一般化したものです。

落とし穴①：AIのクローラーをひとまとめに扱っている

Before（よくある書き方）

AIに使われたくないので

User-agent: *
Disallow: /
のような設定、あるいは「GPTBot」「ClaudeBot」等が見つかるたびに手当たり次第Disallowを追加していく、というやり方。

After（AIに引用されやすい書き方）

どのクローラーを、何のために拒否・許可するのか？

OpenAIはGPTBot（学習用）・OAI-SearchBot（検索用）・ChatGPT-User（ユーザーの閲覧時アクセス）の3種、Anthropicも同様にClaudeBot・Claude-SearchBot・Claude-Userの3種を、それぞれ別のUser-Agentとして公式に案内している。

何が違うか：Beforeは「AI」を一つの塊として扱い、学習用も検索・引用用も区別なくまとめて拒否・許可の対象にしている。Afterは各社が公式に分けている用途ごとのクローラー名を把握した上で判断している。

落とし穴②：「学習用」と「回答時の引用用」を区別していない

Before

GPTBotを拒否する

User-agent: GPTBot
Disallow: /
これだけ設定して終わり、というケース。

After

学習は拒否・検索経由の紹介は許可、を分けて書く

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
のように、学習用クローラーだけを拒否し、検索・引用時に使われるクローラーは許可する書き方もできる。

何が違うか：Beforeは「拒否か許可か」の二択で終わっている。Afterは「学習への利用は避けたいが、AI検索での紹介機会は残したい」という目的に沿って、クローラーごとに設定を分けている。

落とし穴③：拒否した後に何が起きるかを検証していない

Before

設定したので安心

robots.txtにDisallowを書いたら、それで対応完了として特に検証していない。

After

本当に意図通りの巡回状況になっているか？

設定後、サーバーログでUser-Agentごとのアクセス状況を確認する。なお、Perplexityの一部クローラーはrobots.txtを無視して巡回する事例が2025年にCloudflareの調査で報告されており、robots.txtの記述だけで全てのAIクローラーを制御できるとは限らない点も踏まえておく必要がある。

何が違うか：Beforeは設定して終わり。Afterは「設定＝結果」ではなく、実際のログで検証し、robots.txtが必ずしも万能ではないという限界まで理解した上で運用している。

落とし穴④：robots.txtを書けば安心だと思っている

Before

一度書いたら終わり

robots.txtを一度設定したまま、AI各社のクローラー名の追加・変更を追っていない。

After

クローラーの種類は増え続けている前提で定期的に見直す

AI各社は新しいクローラー（検索連携用など）を随時追加しており、設定した時点で存在しなかったクローラーは当然robots.txtに反映されていない。半年〜1年に一度は各社の公式ドキュメントを確認し、設定を見直す運用にする。

何が違うか：Beforeは静的な一回設定。Afterはクローラーの種類が増減する前提で、継続的な見直しを運用に組み込んでいる。

なぜこの違いが生まれるのか

「AI＝ひとまとめの脅威」という捉え方をすると、判断は「拒否するか許可するか」の二択になり、robots.txtも一括設定で終わりやすくなります。実際にはAI各社が「学習用」「検索・引用用」を別のクローラーとして公式に分けて提供しているため、目的（学習には使われたくないが、AI検索では紹介されたい、等）を先に決めてから、クローラーごとに設定を分ける方が、意図した結果に近づけます。

なお、robots.txtはあくまで各クローラー側の自主的な遵守に依存する仕組みであり、一部のクローラーが遵守しない事例も報告されています。robots.txtの設定だけで情報の利用を完全にコントロールできるわけではない、という前提を踏まえた上での運用が必要です。

自社のrobots.txtを見直す4つの視点

1「AI」を一括りにしていないか確認するGPTBot・ClaudeBot・PerplexityBot等、社名やクローラー名で個別に確認する
2学習用と検索・引用用を分けて考える拒否したいのはどちらか、目的を先に決める
3設定後にログで実際の挙動を確認する意図通りに巡回・非巡回になっているか検証する
4半年〜1年に一度、公式ドキュメントで見直すクローラーの種類・名称は増減するため定期確認する

よくある質問（FAQ）

Q. AI関連のクローラーを全部拒否すればAIに情報を使われなくなりますか？

A. 各社が公式にrobots.txtを尊重すると案内しているクローラーであれば、拒否設定は基本的に有効です。ただし一部のクローラーがrobots.txtを遵守しない事例も報告されており、100%の保証にはなりません。

Q. 学習用クローラーだけ拒否して、検索用は許可することはできますか？

A. できます。OpenAI・Anthropicとも学習用と検索・引用用のクローラーを別のUser-Agentとして分けているため、robots.txt側でも個別に設定を分けられます。

Q. 今の設定が意図通りになっているか、どう確認すればいいですか？

A. サーバーのアクセスログでUser-Agentごとの巡回状況を確認するのが確実です。設定を見直すタイミングで一度確認することをおすすめします。

まとめ：拒否するかどうかの前に、何を拒否しているかを知る

AIのクローラーを拒否すること自体が悪いわけではありません。ただ、それが「学習への利用を避けたい」なのか「AI検索で紹介されること自体を避けたい」なのか、目的を先に決めた上で、クローラーごとに設定を分けることで、意図した結果に近づけます。

株式会社THE WORLDは、福岡を拠点に、AIに正しく認識・引用される会社になるための対策（AIO/LLMO）をご支援しています。robots.txtの設定診断にご興味があれば、お気軽にお問い合わせください。

お問い合わせはこちら

あわせて読みたい

AIO・LLMO・GEOとは？基礎知識をまとめた記事 SEOとAIOは何が違う？AIに読まれる前提の対策を整理 AIに引用される会社の共通点引用されやすさの基本チェック AIO対策 完全ガイド4領域の対策と12のチェックリスト
AIO/LLMOについて相談する →
#AIO #GEO #LLMO #robots.txt #クローラー #福岡
YOU
Author

YOU

株式会社THE WORLD のAIO/LLMOチームマネージャー。福岡・天神を拠点に、AIO/LLMO対策やAI導入支援の現場で企業のAI活用を支援。生成AI時代に「選ばれ続ける」ための実践知を発信しています。