Генератор robots.txt для ИИ-роботов
Разрешайте или блокируйте каждого ИИ-робота осознанно, затем скопируйте блок для добавления в robots.txt.
GPTBot собирает страницы для обучения моделей OpenAI. Его блокировка никак не влияет на присутствие вашего сайта в ChatGPT. OAI-SearchBot, напротив, наполняет поисковый индекс ChatGPT: именно он решает, может ли ваша страница быть получена, кратко пересказана и процитирована со ссылкой. Заблокировав его, вы исчезаете из ответов ChatGPT. Многие сайты скопировали блокировку GPTBot и добавили к ней OAI-SearchBot «на всякий случай», тем самым сами отрезав себе канал трафика, за который боролись. Принимайте решение по каждой строке отдельно, а не одним блоком.
Собирает страницы для обучения моделей OpenAI.
Блокировка не убирает вас из ответов ChatGPT. Это решение касается ваших данных, а не вашей видимости.
Индексирует страницы для поиска ChatGPT.
Именно этот робот определяет ваше присутствие и наличие ссылки в ответах ChatGPT. Блокировка лишает вас цитирований.
Проверяет посадочные страницы объявлений ChatGPT Ads.
Необходим, если вы планируете покупать рекламу в ChatGPT: без него ваши посадочные страницы не смогут пройти проверку.
Загружает страницу в реальном времени, потому что пользователь поделился ссылкой или задал по ней вопрос.
Трафик создаётся реальным человеком в реальном времени. Блокировка равносильна отказу в явно запрошенном посещении.
Собирает страницы для моделей Claude.
Anthropic также использует Claude-User для загрузки страниц в реальном времени и Claude-SearchBot для поиска: это отдельные агенты, их нужно настраивать по отдельности.
Индексирует страницы для ответов Perplexity со ссылками на источники.
Perplexity всегда показывает источники. Заблокировав его, вы отказываетесь от этих цитирований и от сопутствующего трафика.
Токен, управляющий использованием вашего контента для Gemini и формирования ответов на его основе.
Это не поисковый робот: он не влияет ни на индексацию, ни на позиции в Google Search.
Формирует открытый корпус данных, который используется во многих обучающих наборах.
Никакой прямой пользы для видимости: Common Crawl никого не цитирует. Это первый кандидат на блокировку, если вы защищаете свои данные.
Собирает страницы для моделей ByteDance.
Известен агрессивной частотой обхода. Многие сайты блокируют его как из-за нагрузки на сервер, так и по соображениям прав на контент.
Собирает страницы для моделей Meta и Meta AI.
Meta использует несколько агентов. Именно этот агент официально задокументирован как используемый для обучения моделей.
Токен, управляющий использованием вашего контента для Apple Intelligence.
Не затрагивает Applebot, который питает данными Siri и Spotlight: ваше присутствие в поиске Apple при этом не меняется.
Добавьте этот блок в существующий файл robots.txt в корне домена. Не удаляйте текущие правила: robots.txt читается по группам User-agent, и ваши правила продолжат действовать для остальных роботов.
Этот инструмент полностью работает в вашем браузере. Введённые здесь данные не попадают на наши серверы, ничего не сохраняется, не нужно создавать аккаунт и соблюдать какие-либо лимиты. Поэтому мы можем предложить его бесплатно: он ничего нам не стоит.
Что делает этот инструмент
Неправильно настроенный robots.txt быстрее всего приводит к тому, что вы незаметно исчезаете из ответов ИИ-систем. Самая частая и самая дорогая путаница касается OpenAI: GPTBot и OAI-SearchBot выполняют разные задачи, и блокировка одного вместо другого даёт противоположный эффект. Этот инструмент показывает реальную роль каждого робота, прежде чем вы примете решение.
- Одиннадцать ИИ-роботов, у каждого указана его реальная роль: обучение моделей, поиск и цитирование, переход по запросу пользователя, реклама.
- Четыре готовых пресета, включая один, который сохраняет цитирование, но запрещает сбор данных для обучения.
- Добавление запрещённых путей, которые применяются к разрешённым роботам, чтобы защитить личный кабинет или корзину.
- Строка Sitemap добавляется в конец файла, плюс комментарии с напоминанием о роли каждого робота.
- Локальная генерация: файл создаётся в вашем браузере, ничего не передаётся на сервер.
Частые вопросы
Если заблокировать GPTBot, исчезну ли я из ChatGPT?
Действительно ли роботы соблюдают robots.txt?
Куда поместить этот файл?
Можно ли заблокировать только часть сайта?
Как проверить, что мои правила применяются?
Что дальше, помимо генератора
Эти микро-инструменты создают файл. Сканеры Ready2GEO идут дальше: они проверяют, что реально происходит на вашем сайте и в ответах ИИ-систем.
Проверяет, действительно ли ваш сайт допущен и пригоден для использования рекламной платформой ChatGPT: доступ роботов, структура, коммерческие сигналы.
Проверить мой сайт 🕷️ Анализатор логов ИИ-краулеровВставьте логи вашего сервера: вы увидите, какие ИИ-роботы реально заходят, как часто и на каких страницах у них возникают сложности.
Проанализировать мои логи 🧭 Полный GEO-аудитКомплексный аудит объединяет все сканеры в единый отчёт с приоритизированными исправлениями и экспортом в PDF.
Запустить аудит