ツール / AI 向け robots.txt ジェネレーター
🚦 無料・無制限

AI クローラー向け robots.txt 生成ツール

各 AI クローラーが何をしているかを正確に把握したうえで許可・拒否を決め、robots.txt に追加するブロックをコピーできます。

GPTBot と OAI-SearchBot：判断は1つではなく2つ

GPTBot は OpenAI のモデルを学習させるためにページを収集します。これを塞いでも、ChatGPT 内での存在感には影響しません。OAI-SearchBot は ChatGPT の検索インデックスを支えるクローラーで、あなたのページが取得され、要約され、リンク付きで引用されうるかどうかを決めます。これを塞ぐと ChatGPT の回答から消えます。多くのサイトが GPTBot の拒否設定をコピーし、「念のため」と OAI-SearchBot を付け足した結果、まさに獲得しようとしていた流入経路を自ら断ってしまいました。まとめてではなく、1行ずつ判断してください。

プリセット
引用してくれるものはすべて開き、決して引用しない収集専用のものを閉じます。
GPTBot OpenAI 学習

OpenAI のモデルを学習させるためにページを収集します。

これを塞いでも ChatGPT の回答から外れることはありません。データについての判断であって、可視性についての判断ではありません。

OAI-SearchBot OpenAI 検索と引用

ChatGPT の検索用にページをインデックスします。

ChatGPT の回答に登場し、リンクされるかどうかを左右するのがこのクローラーです。塞ぐと引用から外れます。

OAI-AdsBot OpenAI 広告

ChatGPT Ads が使うランディングページを確認します。

ChatGPT 内で広告を出す予定があるなら必須です。これがないと、ランディングページを審査してもらえません。

ChatGPT-User OpenAI ユーザー操作による取得

ユーザーがリンクを共有したり、そのページについて質問したりしたときに、その場でページを取得します。

実在の人物がリアルタイムで発生させたトラフィックです。塞ぐことは、本人が明示的に求めた訪問を断ることを意味します。

ClaudeBot Anthropic 学習

Claude モデルのためにページを収集します。

Anthropic は、その場での取得に Claude-User、検索に Claude-SearchBot も使っています。別々のエージェントであり、別々に判断すべきものです。

PerplexityBot Perplexity 検索と引用

Perplexity が返す出典付きの回答のために、ページをインデックスします。

Perplexity は必ず出典を表示します。塞ぐことは、その引用とそれに伴う流入を手放すことです。

Google-Extended Google 学習

あなたのコンテンツを Gemini と回答の根拠付けに使うかどうかを制御するトークンです。

クローラーではありません：Google 検索のインデックスにも順位にも影響しません。

CCBot Common Crawl 学習

多くの学習で再利用される公開コーパスを作ります。

可視性の面で直接の見返りはありません：Common Crawl は誰も引用しません。コンテンツを守りたいなら、真っ先に拒否を検討する対象です。

Bytespider ByteDance 学習

ByteDance のモデルのためにページを収集します。

クロールの頻度が高いことで知られています。権利上の理由と同じくらい、サーバー負荷を理由に拒否しているサイトも多くあります。

meta-externalagent Meta 学習

Meta のモデルと Meta AI のためにページを収集します。

Meta は複数のエージェントを運用しています。これは学習用として文書化されているクローラーです。

Applebot-Extended Apple 学習

あなたのコンテンツを Apple Intelligence に使うかどうかを制御するトークンです。

Siri と Spotlight を支える Applebot には影響しません：Apple の検索での露出はそのままです。

1行に1件。会員ページ、カート、検証用の領域などに使います。
ファイルの末尾に追加されます。省く場合は空欄のままにしてください。
無料、無制限、アカウント不要

このツールはすべてブラウザ内で動作します。ここに入力した内容が当社のサーバーへ送られることはなく、何も保存されません。作るアカウントも、気にする回数制限もありません。運用に費用がかからないため、無償で提供できます。

このツールができること

設定を誤った robots.txt は、気づかないうちに AI の回答から消える最短の道です。最も多く、最も高くつく取り違えは OpenAI をめぐるものです：GPTBot と OAI-SearchBot は役割が違い、片方と間違えてもう片方を塞ぐと、結果は正反対になります。このツールは、判断をゆだねる前に各クローラーが実際に何をしているかを示します。

  • 11体の AI クローラーを収録し、それぞれの実際の役割を示します：学習、検索と引用、ユーザー操作による取得、広告。
  • 4つのプリセット。うち1つは、学習用の収集を断りながら引用は残す設定です。
  • 通したクローラーに適用される禁止パスを追加でき、会員ページやカートを守れます。
  • ファイルの末尾に Sitemap 行を加え、各クローラーの役割を記したコメントも入れます。
  • ローカルで生成：ファイルはブラウザ内で作られ、何も送信されません。

よくある質問

GPTBot を拒否すると ChatGPT から消えますか？
いいえ。GPTBot はモデルの学習用です。ChatGPT の回答に登場するかどうかを左右するのは OAI-SearchBot と、その場での取得を行う ChatGPT-User です。学習を断りながら、引用可能な状態を保つことは十分にできます。
クローラーは本当に robots.txt を守りますか？
OpenAI、Anthropic、Google、Apple、Perplexity の文書化されたエージェントは守ると表明しており、実際に守っています。それでも robots.txt は技術的な壁ではなく、あくまで慣行です。アクセスを本当に止める必要があるなら、アプリケーションファイアウォールか CDN のレベルで遮断し、公開されている IP レンジと突き合わせて確認してください。
ファイルはどこに置きますか？
ドメインのルート、そこだけです：https://example.jp/robots.txt。サブディレクトリに置いたファイルが読まれることはありません。サブドメインにはそれぞれ固有の robots.txt が必要です。
サイトの一部だけを拒否できますか？
できます。禁止パスの欄は、許可したままにしたすべてのクローラーに Disallow 行を追加します。サイトへのアクセスは保ちつつ、そのディレクトリだけを閉じられます。会員ページや購入フローには、この方法が適しています。
ルールが実際に効いているか、どう確認しますか？
サーバーログを見てください。どのクローラーが実際に来て、何を見ているかを教えてくれるのはログだけです。当社の AI クローラーログ解析はまさにその作業を行い、ファイアウォールや CDN による意図しない遮断も見つけ出します。

ジェネレーターの先へ

これらのマイクロツールが作るのはファイルです。Ready2GEO のスキャナーは、あなたのサイトと AI の回答で実際に何が起きているのかを調べに行きます。

📣 ChatGPT Ads Readiness

ChatGPT の広告プラットフォームがあなたのサイトを本当に利用できるか、掲載資格があるかを確認します：クローラーのアクセス、構造、商用シグナル。

サイトを診断する 🕷️ AI クローラーのログ解析

サーバーログを貼り付けると、どの AI クローラーが実際に訪れ、どの頻度で、どのページでつまずいているかが分かります。

ログを解析する 🧭 GEO 総合診断

すべてのスキャナーを1つのレポートにまとめた総合診断です。優先順位を付けた修正方法と PDF 出力が付きます。

診断を実行する

Ready2GEO のツール一覧

🔖Preferred Source ボタン ジェネレーター 💡context hints ジェネレーター 🧮ChatGPT Ads 予算計算ツール 🔗UTM URL ビルダー 📄llms.txt ジェネレーター { }JSON-LD スキーマ ジェネレーター 🧰すべてのツールを見る