Generator robots.txt dla robotów AI
Zezwalaj lub blokuj każdego robota AI ze świadomością, co on właściwie robi, a potem skopiuj blok do dodania do swojego robots.txt.
GPTBot zbiera strony, żeby trenować modele OpenAI. Zablokowanie go nie ma żadnego wpływu na Twoją obecność w ChatGPT. OAI-SearchBot zasila indeks wyszukiwania ChatGPT: to on decyduje, czy Twoja strona może zostać pobrana, streszczona i zacytowana z linkiem. Zablokowanie go usuwa Cię z odpowiedzi ChatGPT. Mnóstwo serwisów skopiowało blokadę GPTBota i dorzuciło OAI-SearchBota „na wszelki wypadek”, odcinając się dokładnie od tego kanału ruchu, o który walczyły. Decyduj wiersz po wierszu, nie hurtem.
Zbiera strony, żeby trenować modele OpenAI.
Zablokowanie go nie usuwa Cię z odpowiedzi ChatGPT. To decyzja o Twoich danych, nie o Twojej widoczności.
Indeksuje strony na potrzeby wyszukiwania w ChatGPT.
To ten robot decyduje, czy pojawiasz się w odpowiedziach ChatGPT i czy dostajesz link. Zablokowanie go usuwa Cię z cytowań.
Sprawdza strony docelowe używane przez ChatGPT Ads.
Niezbędny, jeśli planujesz kupować reklamy w ChatGPT: bez niego Twoje strony docelowe nie przejdą weryfikacji.
Pobiera stronę na żywo, bo użytkownik udostępnił link albo zadał o niego pytanie.
Ruch wywołany przez realną osobę w czasie rzeczywistym. Zablokowanie go oznacza odmowę wizyty, o którą ktoś poprosił wprost.
Zbiera strony dla modeli Claude.
Anthropic prowadzi też Claude-User do pobrań na żywo i Claude-SearchBot do wyszukiwania: to osobne agenty i zasługują na osobne decyzje.
Indeksuje strony na potrzeby odpowiedzi ze źródłami, które zwraca Perplexity.
Perplexity zawsze pokazuje swoje źródła. Zablokowanie go to rezygnacja z tych cytowań i z ruchu, który za nimi idzie.
Token kontrolujący, czy Twoje treści zasilają Gemini i ugruntowanie odpowiedzi.
To nie jest robot indeksujący: nie zmienia ani Twojej indeksacji, ani pozycji w Google Search.
Buduje publiczny korpus wykorzystywany ponownie przez wiele treningów.
Żadnej bezpośredniej korzyści dla widoczności: Common Crawl nie cytuje nikogo. To pierwszy kandydat do zablokowania, jeśli chronisz swoje treści.
Zbiera strony dla modeli ByteDance.
Znany z agresywnego tempa indeksowania. Wiele serwisów blokuje go z powodu obciążenia serwera równie często co z powodu praw do treści.
Zbiera strony dla modeli Meta i dla Meta AI.
Meta prowadzi kilka agentów. Ten jest udokumentowanym robotem używanym do trenowania.
Token kontrolujący, czy Twoje treści zasilają Apple Intelligence.
Nie dotyka Applebota, który napędza Siri i Spotlight: Twoja obecność w wyszukiwarce Apple pozostaje bez zmian.
Dodaj ten blok do istniejącego robots.txt w katalogu głównym domeny. Nie nadpisuj obecnych reguł: robots.txt czyta się grupami User-agent, więc Twoje nadal obowiązują pozostałe roboty.
To narzędzie działa w całości w Twojej przeglądarce. Nic, co tu wpiszesz, nie trafia na nasze serwery, nic nie jest zapisywane, nie ma konta do założenia ani limitu do pilnowania. Możemy je oddać za darmo, bo jego utrzymanie nic nas nie kosztuje.
Co robi to narzędzie
Źle wykalibrowany robots.txt to najszybszy sposób, żeby zniknąć z odpowiedzi AI i wcale tego nie zauważyć. Najczęstsze i najdroższe nieporozumienie dotyczy OpenAI: GPTBot i OAI-SearchBot nie wykonują tej samej pracy, a zablokowanie jednego zamiast drugiego daje przeciwne skutki. To narzędzie pokazuje, czym każdy robot naprawdę się zajmuje, zanim pozwoli Ci zdecydować.
- Jedenaście robotów AI, każdy ze swoją prawdziwą rolą: trenowanie, wyszukiwanie i cytowanie, pobranie wywołane przez użytkownika, reklama.
- Cztery gotowe ustawienia, w tym jedno, które zachowuje cytowania i jednocześnie odmawia zbierania danych treningowych.
- Dodaje zakazane ścieżki obowiązujące roboty, które przepuszczasz, żeby ochronić strefę klienta albo koszyk.
- Dopisuje wiersz Sitemap oraz komentarze przypominające, czym zajmuje się każdy robot.
- Budowa lokalna: plik powstaje w Twojej przeglądarce i nic nie jest przesyłane.
Najczęstsze pytania
Czy zablokowanie GPTBota usuwa mnie z ChatGPT?
Czy roboty naprawdę respektują robots.txt?
Gdzie umieścić ten plik?
Czy mogę zablokować tylko część witryny?
Jak sprawdzić, czy moje reguły faktycznie działają?
Dalej niż generator
Te mikronarzędzia tworzą plik. Skanery Ready2GEO idą sprawdzić, co naprawdę dzieje się na Twojej stronie i w odpowiedziach silników AI.
Sprawdza, czy Twoja strona jest faktycznie kwalifikowalna i użyteczna dla platformy reklamowej ChatGPT: dostęp robotów, struktura, sygnały handlowe.
Przetestuj moją stronę 🕷️ Analizator logów robotów AIWklej logi serwera i zobacz, które roboty AI naprawdę zaglądają, jak często i na których stronach się wykładają.
Przeanalizuj moje logi 🧭 Pełny audyt GEOAudyt zbiorczy łączy wszystkie skanery w jeden raport, z priorytetami napraw i eksportem do PDF.
Uruchom audyt