robots.txt-Generator für KI-Crawler
Erlauben oder blockieren Sie jeden KI-Crawler in Kenntnis der Sachlage und kopieren Sie anschließend den Block in Ihre robots.txt.
GPTBot sammelt Seiten, um die Modelle von OpenAI zu trainieren. Ihn zu blockieren hat keinerlei Wirkung auf Ihre Präsenz in ChatGPT. OAI-SearchBot dagegen speist den Suchindex von ChatGPT: er entscheidet, ob Ihre Seite abgerufen, zusammengefasst und mit Link zitiert werden kann. Ihn zu blockieren nimmt Sie aus den Antworten von ChatGPT heraus. Viele Websites haben eine Sperre für GPTBot kopiert und OAI-SearchBot „sicherheitshalber“ hinzugefügt und sich damit selbst aus genau dem Traffic-Kanal geschnitten, den sie erschließen wollten. Entscheiden Sie Zeile für Zeile, nicht pauschal.
Sammelt Seiten für das Training der OpenAI-Modelle.
Ihn zu blockieren nimmt Sie nicht aus den Antworten von ChatGPT. Es ist eine Entscheidung über Ihre Daten, nicht über Ihre Sichtbarkeit.
Indexiert Seiten für die Suche von ChatGPT.
Dieser Crawler bestimmt, ob Sie in den Antworten von ChatGPT auftauchen und verlinkt werden. Ihn zu blockieren löscht Sie aus den Zitaten.
Prüft die Landingpages der Anzeigen von ChatGPT Ads.
Notwendig, wenn Sie Werbung in ChatGPT kaufen wollen: ohne ihn lassen sich Ihre Landingpages nicht validieren.
Ruft eine Seite live ab, weil ein Nutzer den Link geteilt oder eine Frage dazu gestellt hat.
Traffic, den eine reale Person in Echtzeit auslöst. Ihn zu blockieren heißt, einen ausdrücklich angefragten Besuch abzuweisen.
Sammelt Seiten für die Claude-Modelle.
Anthropic setzt außerdem Claude-User für die Live-Abrufe und Claude-SearchBot für die Suche ein: das sind eigene Agenten, die eine eigene Entscheidung verlangen.
Indexiert Seiten für die belegten Antworten von Perplexity.
Perplexity zeigt seine Quellen grundsätzlich an. Ihn zu blockieren heißt, auf diese Zitate und den Traffic zu verzichten, der daran hängt.
Kennzeichen, das die Nutzung Ihrer Inhalte für Gemini und die Verankerung der Antworten steuert.
Es ist kein Crawler: es ändert weder Ihre Indexierung noch Ihr Ranking in Google Search.
Baut einen öffentlichen Korpus auf, der in zahlreichen Trainingsläufen wiederverwendet wird.
Kein direkter Gewinn an Sichtbarkeit: Common Crawl zitiert niemanden. Der erste Kandidat für eine Sperre, wenn Sie Ihre Inhalte schützen.
Sammelt Seiten für die Modelle von ByteDance.
Bekannt für ein aggressives Crawl-Tempo. Viele Websites blockieren ihn ebenso sehr wegen der Serverlast wie aus Rechtegründen.
Sammelt Seiten für die Modelle von Meta und für Meta AI.
Meta betreibt mehrere Agenten. Dieser hier ist der dokumentierte Crawler für das Training.
Kennzeichen, das die Nutzung Ihrer Inhalte für Apple Intelligence steuert.
Es rührt Applebot nicht an, der Siri und Spotlight speist: Ihre Präsenz in der Apple-Suche bleibt unberührt.
Fügen Sie diesen Block zu Ihrer bestehenden robots.txt im Wurzelverzeichnis der Domain hinzu. Überschreiben Sie Ihre bisherigen Regeln nicht: robots.txt wird pro User-agent-Gruppe gelesen, Ihre eigenen Regeln gelten weiter für die übrigen Crawler.
Dieses Tool läuft vollständig in Ihrem Browser. Nichts von dem, was Sie hier eingeben, erreicht unsere Server, nichts wird gespeichert, es gibt kein Konto anzulegen und kein Kontingent zu beachten. Wir können es deshalb ohne Gegenleistung anbieten: es kostet uns nichts.
Was dieses Tool leistet
Eine schlecht eingestellte robots.txt ist der schnellste Weg, unbemerkt aus den KI-Antworten zu verschwinden. Die häufigste und teuerste Verwechslung betrifft OpenAI: GPTBot und OAI-SearchBot machen nicht dieselbe Arbeit, und den einen statt des anderen zu blockieren hat gegenteilige Folgen. Dieses Tool zeigt die tatsächliche Aufgabe jedes Crawlers an, bevor es Sie entscheiden lässt.
- Elf KI-Crawler abgedeckt, jeder mit seiner tatsächlichen Aufgabe: Training, Suche und Zitat, durch Nutzer ausgelöster Abruf, Werbung.
- Vier Voreinstellungen, darunter eine, die die Zitate erhält und zugleich die Sammlung für das Training verweigert.
- Ergänzt gesperrte Pfade, die für die Crawler gelten, die Sie durchlassen, zum Schutz eines Kundenbereichs oder eines Warenkorbs.
- Hängt am Dateiende eine Sitemap-Zeile an, dazu Kommentare, die an die Aufgabe jedes Crawlers erinnern.
- Lokale Erzeugung: die Datei entsteht in Ihrem Browser, nichts wird übertragen.
Häufige Fragen
Verschwinde ich aus ChatGPT, wenn ich GPTBot blockiere?
Halten sich die Crawler wirklich an robots.txt?
Wohin gehört diese Datei?
Kann ich nur einen Teil der Website sperren?
Wie prüfe ich, ob meine Regeln wirklich greifen?
Weiter gehen als der Generator
Diese Mikro-Tools erzeugen eine Datei. Die Ready2GEO-Scanner sehen nach, was auf Ihrer Website und in den Antworten der KI-Motoren tatsächlich passiert.
Prüft, ob Ihre Website für die Werbeplattform von ChatGPT wirklich zulässig und nutzbar ist: Zugang der Crawler, Struktur, kommerzielle Signale.
Meine Website testen 🕷️ Log-Analyse für KI-CrawlerFügen Sie Ihre Server-Logs ein: Sie sehen, welche KI-Crawler wirklich vorbeikommen, wie oft, und an welchen Seiten sie sich die Zähne ausbeißen.
Meine Logs analysieren 🧭 Vollständiges GEO-AuditDas gebündelte Audit fasst alle Scanner in einem einzigen Bericht zusammen, mit priorisierten Korrekturen und PDF-Export.
Audit starten