robots.txt-generator voor AI-crawlers
Sta elke AI-crawler toe of blokkeer hem met kennis van zaken, en kopieer daarna het blok dat u aan uw robots.txt toevoegt.
GPTBot verzamelt pagina's om de modellen van OpenAI te trainen. Hem blokkeren heeft geen enkel effect op uw aanwezigheid in ChatGPT. OAI-SearchBot voedt de zoekindex van ChatGPT: die bepaalt of uw pagina opgehaald, samengevat en met een link geciteerd kan worden. Hem blokkeren haalt u uit de antwoorden van ChatGPT. Veel sites hebben een blokkade van GPTBot gekopieerd en OAI-SearchBot er “voor de zekerheid” bij gezet, en sneden zich zo af van precies het verkeerskanaal dat ze wilden winnen. Beslis regel voor regel, niet in één keer.
Verzamelt pagina's om de modellen van OpenAI te trainen.
Hem blokkeren haalt u niet uit de antwoorden van ChatGPT. Het is een beslissing over uw data, niet over uw zichtbaarheid.
Indexeert pagina's voor de zoekfunctie van ChatGPT.
Deze crawler bepaalt of u met een link in de antwoorden van ChatGPT verschijnt. Hem blokkeren schrapt u uit de citaten.
Controleert de landingspagina's die ChatGPT Ads gebruikt.
Nodig als u advertenties in ChatGPT wilt kopen: zonder hem kunnen uw landingspagina's niet worden gevalideerd.
Haalt een pagina live op omdat een gebruiker de link heeft gedeeld of er een vraag over stelt.
Verkeer dat een echt persoon in realtime uitlokt. Hem blokkeren betekent een bezoek weigeren waar iemand uitdrukkelijk om heeft gevraagd.
Verzamelt pagina's voor de Claude-modellen.
Anthropic gebruikt daarnaast Claude-User voor het live ophalen en Claude-SearchBot voor het zoeken: dat zijn aparte agents, die elk een eigen beslissing verdienen.
Indexeert pagina's voor de antwoorden met bronvermelding van Perplexity.
Perplexity toont altijd zijn bronnen. Hem blokkeren betekent afzien van die citaten en van het verkeer dat eraan vastzit.
Een token dat bepaalt of uw content Gemini en de onderbouwing van antwoorden voedt.
Het is geen crawler: het verandert niets aan uw indexering of aan uw positie in Google Search.
Bouwt een openbaar corpus dat door talloze trainingsrondes wordt hergebruikt.
Geen enkel direct voordeel voor uw zichtbaarheid: Common Crawl citeert niemand. Het is de eerste kandidaat voor een blokkade als u uw content beschermt.
Verzamelt pagina's voor de modellen van ByteDance.
Berucht om zijn agressieve crawlsnelheid. Veel sites blokkeren hem net zozeer vanwege de serverbelasting als vanwege de rechten.
Verzamelt pagina's voor de modellen van Meta en voor Meta AI.
Meta gebruikt meerdere agents. Dit is de gedocumenteerde crawler voor training.
Een token dat bepaalt of uw content Apple Intelligence voedt.
Het raakt Applebot niet, die Siri en Spotlight voedt: uw aanwezigheid in de zoekfunctie van Apple blijft ongemoeid.
Voeg dit blok toe aan uw bestaande robots.txt in de root van het domein. Overschrijf uw huidige regels niet: robots.txt wordt per User-agent-groep gelezen, dus de uwe blijven gelden voor de andere crawlers.
Deze tool draait volledig in uw browser. Niets van wat u hier invult bereikt onze servers, er wordt niets opgeslagen, er is geen account aan te maken en geen quotum om rekening mee te houden. Wij kunnen hem weggeven omdat hij ons niets kost.
Wat deze tool doet
Een verkeerd afgestelde robots.txt is de snelste manier om uit de AI-antwoorden te verdwijnen zonder het te merken. De meest voorkomende en duurste verwarring betreft OpenAI: GPTBot en OAI-SearchBot doen niet hetzelfde werk, en de een blokkeren in plaats van de ander heeft tegengestelde gevolgen. Deze tool toont wat elke crawler werkelijk doet voordat u beslist.
- Elf AI-crawlers behandeld, elk met zijn echte rol: training, zoeken en citeren, ophalen op verzoek van een gebruiker, advertenties.
- Vier voorinstellingen, waaronder één die de citaten behoudt maar het verzamelen voor training weigert.
- Voegt verboden paden toe die gelden voor de crawlers die u doorlaat, om een klantomgeving of een winkelwagen af te schermen.
- Zet een Sitemap-regel onderaan het bestand, met commentaarregels die de rol van elke crawler in herinnering brengen.
- Lokale generatie: het bestand ontstaat in uw browser, er wordt niets verstuurd.
Veelgestelde vragen
Verdwijn ik uit ChatGPT als ik GPTBot blokkeer?
Houden crawlers zich echt aan robots.txt?
Waar hoort het bestand te staan?
Kan ik slechts een deel van de site blokkeren?
Hoe controleer ik of mijn regels echt worden toegepast?
Verder dan de generator
Deze micro-tools leveren een bestand op. De Ready2GEO-scanners gaan kijken wat er werkelijk op uw site en in de antwoorden van AI-motoren gebeurt.
Controleert of uw site echt in aanmerking komt en bruikbaar is voor het advertentieplatform van ChatGPT: toegang voor crawlers, structuur, commerciële signalen.
Mijn site testen 🕷️ Loganalyse voor AI-crawlersPlak uw serverlogs en zie welke AI-crawlers echt langskomen, hoe vaak, en op welke pagina's ze vastlopen.
Mijn logs analyseren 🧭 Volledige GEO-auditDe gebundelde audit voegt alle scanners samen tot één rapport, met geprioriteerde correcties en een PDF-export.
De audit starten