Narzędzia / Generator robots.txt dla AI
🚦 Za darmo i bez limitów

Generator robots.txt dla robotów AI

Zezwalaj lub blokuj każdego robota AI ze świadomością, co on właściwie robi, a potem skopiuj blok do dodania do swojego robots.txt.

GPTBot i OAI-SearchBot: dwie decyzje, nie jedna

GPTBot zbiera strony, żeby trenować modele OpenAI. Zablokowanie go nie ma żadnego wpływu na Twoją obecność w ChatGPT. OAI-SearchBot zasila indeks wyszukiwania ChatGPT: to on decyduje, czy Twoja strona może zostać pobrana, streszczona i zacytowana z linkiem. Zablokowanie go usuwa Cię z odpowiedzi ChatGPT. Mnóstwo serwisów skopiowało blokadę GPTBota i dorzuciło OAI-SearchBota „na wszelki wypadek”, odcinając się dokładnie od tego kanału ruchu, o który walczyły. Decyduj wiersz po wierszu, nie hurtem.

Gotowe ustawienia
Otwiera wszystko, co może Cię zacytować, zamyka kolektory, które nie cytują nigdy.
GPTBot OpenAI Trenowanie

Zbiera strony, żeby trenować modele OpenAI.

Zablokowanie go nie usuwa Cię z odpowiedzi ChatGPT. To decyzja o Twoich danych, nie o Twojej widoczności.

OAI-SearchBot OpenAI Wyszukiwanie i cytowanie

Indeksuje strony na potrzeby wyszukiwania w ChatGPT.

To ten robot decyduje, czy pojawiasz się w odpowiedziach ChatGPT i czy dostajesz link. Zablokowanie go usuwa Cię z cytowań.

OAI-AdsBot OpenAI Reklama

Sprawdza strony docelowe używane przez ChatGPT Ads.

Niezbędny, jeśli planujesz kupować reklamy w ChatGPT: bez niego Twoje strony docelowe nie przejdą weryfikacji.

ChatGPT-User OpenAI Pobranie wywołane przez użytkownika

Pobiera stronę na żywo, bo użytkownik udostępnił link albo zadał o niego pytanie.

Ruch wywołany przez realną osobę w czasie rzeczywistym. Zablokowanie go oznacza odmowę wizyty, o którą ktoś poprosił wprost.

ClaudeBot Anthropic Trenowanie

Zbiera strony dla modeli Claude.

Anthropic prowadzi też Claude-User do pobrań na żywo i Claude-SearchBot do wyszukiwania: to osobne agenty i zasługują na osobne decyzje.

PerplexityBot Perplexity Wyszukiwanie i cytowanie

Indeksuje strony na potrzeby odpowiedzi ze źródłami, które zwraca Perplexity.

Perplexity zawsze pokazuje swoje źródła. Zablokowanie go to rezygnacja z tych cytowań i z ruchu, który za nimi idzie.

Google-Extended Google Trenowanie

Token kontrolujący, czy Twoje treści zasilają Gemini i ugruntowanie odpowiedzi.

To nie jest robot indeksujący: nie zmienia ani Twojej indeksacji, ani pozycji w Google Search.

CCBot Common Crawl Trenowanie

Buduje publiczny korpus wykorzystywany ponownie przez wiele treningów.

Żadnej bezpośredniej korzyści dla widoczności: Common Crawl nie cytuje nikogo. To pierwszy kandydat do zablokowania, jeśli chronisz swoje treści.

Bytespider ByteDance Trenowanie

Zbiera strony dla modeli ByteDance.

Znany z agresywnego tempa indeksowania. Wiele serwisów blokuje go z powodu obciążenia serwera równie często co z powodu praw do treści.

meta-externalagent Meta Trenowanie

Zbiera strony dla modeli Meta i dla Meta AI.

Meta prowadzi kilka agentów. Ten jest udokumentowanym robotem używanym do trenowania.

Applebot-Extended Apple Trenowanie

Token kontrolujący, czy Twoje treści zasilają Apple Intelligence.

Nie dotyka Applebota, który napędza Siri i Spotlight: Twoja obecność w wyszukiwarce Apple pozostaje bez zmian.

Jedna w wierszu. Przydatne przy strefie klienta, koszyku albo środowisku testowym.
Dopisywany na końcu pliku. Zostaw puste, żeby go pominąć.
Za darmo, bez limitów, bez konta

To narzędzie działa w całości w Twojej przeglądarce. Nic, co tu wpiszesz, nie trafia na nasze serwery, nic nie jest zapisywane, nie ma konta do założenia ani limitu do pilnowania. Możemy je oddać za darmo, bo jego utrzymanie nic nas nie kosztuje.

Co robi to narzędzie

Źle wykalibrowany robots.txt to najszybszy sposób, żeby zniknąć z odpowiedzi AI i wcale tego nie zauważyć. Najczęstsze i najdroższe nieporozumienie dotyczy OpenAI: GPTBot i OAI-SearchBot nie wykonują tej samej pracy, a zablokowanie jednego zamiast drugiego daje przeciwne skutki. To narzędzie pokazuje, czym każdy robot naprawdę się zajmuje, zanim pozwoli Ci zdecydować.

  • Jedenaście robotów AI, każdy ze swoją prawdziwą rolą: trenowanie, wyszukiwanie i cytowanie, pobranie wywołane przez użytkownika, reklama.
  • Cztery gotowe ustawienia, w tym jedno, które zachowuje cytowania i jednocześnie odmawia zbierania danych treningowych.
  • Dodaje zakazane ścieżki obowiązujące roboty, które przepuszczasz, żeby ochronić strefę klienta albo koszyk.
  • Dopisuje wiersz Sitemap oraz komentarze przypominające, czym zajmuje się każdy robot.
  • Budowa lokalna: plik powstaje w Twojej przeglądarce i nic nie jest przesyłane.

Najczęstsze pytania

Czy zablokowanie GPTBota usuwa mnie z ChatGPT?
Nie. GPTBot służy do trenowania modeli. O Twojej obecności w odpowiedziach ChatGPT decyduje OAI-SearchBot, a przy pobraniach na żywo ChatGPT-User. Możesz odmówić trenowania i pozostać w pełni cytowalny.
Czy roboty naprawdę respektują robots.txt?
Udokumentowane agenty OpenAI, Anthropic, Google, Apple i Perplexity deklarują, że go respektują, i w praktyce tak robią. robots.txt pozostaje konwencją, a nie barierą techniczną. Jeśli naprawdę musisz uniemożliwić dostęp, blokuj na poziomie zapory aplikacyjnej albo CDN i weryfikuj to według opublikowanych zakresów adresów IP.
Gdzie umieścić ten plik?
W katalogu głównym domeny i tylko tam: https://przyklad.pl/robots.txt. Plik w podkatalogu nigdy nie zostanie odczytany. Każda subdomena ma własny robots.txt.
Czy mogę zablokować tylko część witryny?
Tak. Pole zakazanych ścieżek dodaje wiersze Disallow do każdego robota, którego zostawiasz dozwolonego: zachowują dostęp do witryny, ale nie do tych katalogów. To właściwe podejście przy strefie klienta albo ścieżce zakupowej.
Jak sprawdzić, czy moje reguły faktycznie działają?
Zajrzyj do logów serwera: to one mówią, które roboty naprawdę przychodzą i po co. Dokładnie tym zajmuje się nasz analizator logów robotów AI, który wyłapuje też przypadkowe blokady z zapory albo CDN.

Dalej niż generator

Te mikronarzędzia tworzą plik. Skanery Ready2GEO idą sprawdzić, co naprawdę dzieje się na Twojej stronie i w odpowiedziach silników AI.

Wszystkie narzędzia Ready2GEO