サイトに来ているAIは、GPTBotだけではありません──7つのUser-Agentを見分けていますか？

robots.txtで「AIを許可しました」で終わっていませんか。実際にAIが読みに来ているかどうかは、robots.txtの設定だけでは分かりません。サーバーのアクセスログを見て初めて、どのAIが・いつ・何を読みに来たかが分かります。今回はサーバーログの読み方を題材に、AIO/LLMO診断を行います。

1. なぜログを見ないと分からないのか

クローラーとは、Webサイトを自動で巡回してページ内容を取得するプログラムのことです。生成AIのクローラーは、検索エンジンのクローラーと違い「robots.txtで許可した通りに来る」とは限りません。許可設定と実際のアクセス有無は別物であり、robots.txtの記述だけを見て「AIに読まれているはず」と判断するのは推測にすぎません。サーバーのアクセスログに残るUser-Agent（アクセス元プログラムの名乗り）を確認して初めて、事実として「来ているかどうか」を診断できます。

2. 主要なAIクローラー7種類

1つの会社が複数のUser-Agentを使い分けているケースが多く、名前だけ見て「1種類」と誤解しやすい点に注意が必要です。

1. GPTBot（OpenAI）：AIモデルの学習データ収集用（OpenAI公式）
2. OAI-SearchBot（OpenAI）：ChatGPT検索機能のインデックス用。これを拒否するとChatGPT検索結果に出てこなくなる
3. ChatGPT-User（OpenAI）：ユーザーがChatGPT内でページを指定した際にその場で読みに行く
4. ClaudeBot（Anthropic）：AIモデルの学習データ収集用（Anthropic公式）
5. Claude-SearchBot（Anthropic）：Claudeの検索・回答品質向上のためのインデックス用
6. Claude-User（Anthropic）：ユーザーがClaudeに質問した際の個別アクセス用
7. PerplexityBot：Perplexityの検索・引用用インデックス収集

3. サーバーログで実際に確認する方法

多くのレンタルサーバーには、アクセスログ（access_log）が保存されています。以下のようにUser-Agent名で絞り込むと、対象のAIクローラーが実際に来ているかを確認できます。

ここで重要なのは、GPTBotを許可していてもOAI-SearchBotを個別にブロックしていれば、ChatGPT検索には表示されないという点です。1つのAIを許可・拒否したつもりが、実際は7種類のうち1つにしか効いていなかった、というケースがログを見て初めて発覚することがあります。逆に、学習用のGPTBot・ClaudeBotだけを拒否し、検索用・ユーザー応答用のUser-Agentは許可する、という使い分けも設定次第で可能です。「AIを許可する／しない」を1つの判断として扱うのではなく、7種類それぞれについて個別に意思決定する、という発想が必要になります。

よくある質問

Q. robots.txtで許可していれば、ログは見なくてもよいですか？

A. 許可設定は「来てよい」という意思表示であり、実際に来たかどうかとは別です。学習用・検索用・ユーザー応答用でUser-Agentが分かれているため、意図した種類が来ているかはログでの確認が必要です。

Q. どのくらいの頻度でログを確認すればよいですか？

A. 公式な巡回頻度は公開されていませんが、記事公開後の変化を見るという意味では、月1回程度の定点確認が現実的です。

Q. 特定のAIだけをブロックすることはできますか？

A. robots.txtにUser-Agentごとの記述を分けることで、種類ごとに許可・拒否を個別に設定できます。