Generador de robots.txt para los robots de IA
Autoriza o bloquea cada robot de IA con conocimiento de causa, y copia después el bloque que hay que añadir a tu robots.txt.
GPTBot recoge páginas para entrenar los modelos de OpenAI. Bloquearlo no tiene ningún efecto sobre tu presencia en ChatGPT. OAI-SearchBot, en cambio, alimenta el índice de búsqueda de ChatGPT: es él quien decide si tu página puede recuperarse, resumirse y citarse con un enlace. Bloquearlo te saca de las respuestas de ChatGPT. Muchos sitios copiaron un bloqueo de GPTBot y le añadieron OAI-SearchBot «por seguridad», y se eliminaron ellos mismos del canal de tráfico que intentaban trabajar. Decide línea por línea, no en bloque.
Recoge páginas para el entrenamiento de los modelos de OpenAI.
Bloquearlo no te saca de las respuestas de ChatGPT. Es una decisión sobre tus datos, no sobre tu visibilidad.
Indexa las páginas para la búsqueda de ChatGPT.
Es este robot el que condiciona tu presencia y tu enlace en las respuestas de ChatGPT. Bloquearlo te elimina de las citas.
Controla las páginas de destino de los anuncios de ChatGPT Ads.
Necesario si piensas comprar publicidad dentro de ChatGPT: sin él, tus páginas de destino no se pueden validar.
Va a buscar una página en directo porque un usuario ha compartido el enlace o ha hecho una pregunta sobre ella.
Tráfico provocado por una persona real, en tiempo real. Bloquearlo equivale a rechazar una visita solicitada de forma explícita.
Recoge páginas para los modelos Claude.
Anthropic usa también Claude-User para las recuperaciones en directo y Claude-SearchBot para la búsqueda: son agentes distintos y hay que tratarlos por separado.
Indexa las páginas para las respuestas con fuentes de Perplexity.
Perplexity muestra siempre sus fuentes. Bloquearlo es renunciar a esas citas y al tráfico que llevan asociado.
Token que controla el uso de tu contenido para Gemini y el anclaje de las respuestas.
No es un robot de rastreo: no cambia ni tu indexación ni tu posición en Google Search.
Construye un corpus público reutilizado por numerosos entrenamientos.
Ningún beneficio directo de visibilidad: Common Crawl no cita a nadie. Es el primer candidato al bloqueo si estás protegiendo tus contenidos.
Recoge páginas para los modelos de ByteDance.
Tiene fama de rastrear a un ritmo agresivo. Muchos sitios lo bloquean por carga de servidor tanto como por derechos.
Recoge páginas para los modelos de Meta y para Meta AI.
Meta utiliza varios agentes. Este es el rastreador documentado que se usa para el entrenamiento.
Token que controla el uso de tu contenido para Apple Intelligence.
No afecta a Applebot, que alimenta Siri y Spotlight: tu presencia en la búsqueda de Apple no se ve alterada.
Añade este bloque a tu archivo robots.txt existente, en la raíz del dominio. No sobrescribas tus reglas actuales: robots.txt se lee por grupo User-agent, así que las tuyas siguen aplicándose a los demás robots.
Esta herramienta funciona íntegramente en tu navegador. Nada de lo que escribes aquí llega a nuestros servidores, no se guarda nada, y no hay ni cuenta que crear ni cuota que respetar. Por eso podemos regalarla: no nos cuesta nada mantenerla.
Qué hace esta herramienta
Un robots.txt mal calibrado es la forma más rápida de desaparecer de las respuestas de IA sin darte cuenta. La confusión más frecuente y más cara afecta a OpenAI: GPTBot y OAI-SearchBot no hacen el mismo trabajo, y bloquear uno por el otro tiene consecuencias opuestas. Esta herramienta muestra la función real de cada robot antes de dejarte decidir.
- Once robots de IA cubiertos, cada uno con su función real: entrenamiento, búsqueda y cita, visita provocada por un usuario, publicidad.
- Cuatro preajustes, entre ellos uno que conserva las citas y rechaza a la vez la recogida para entrenamiento.
- Añade rutas prohibidas que se aplican a los robots que dejas pasar, para proteger un área de clientes o un carrito.
- Línea Sitemap añadida al final del archivo, y comentarios que recuerdan la función de cada robot.
- Generación local: el archivo se fabrica en tu navegador, no se transmite nada.
Preguntas frecuentes
¿Bloquear GPTBot me hace desaparecer de ChatGPT?
¿Los robots respetan de verdad el robots.txt?
¿Dónde se coloca este archivo?
¿Puedo bloquear solo una parte del sitio?
¿Cómo compruebo que mis reglas se aplican?
Ir más allá del generador
Estas microherramientas producen un archivo. Los escáneres de Ready2GEO van a buscar lo que ocurre de verdad en tu sitio y dentro de las respuestas de los motores de IA.
Comprueba si tu sitio es realmente elegible y utilizable por la plataforma publicitaria de ChatGPT: acceso de los robots, estructura, señales comerciales.
Probar mi sitio 🕷️ Analizador de logs de crawlers de IAPega tus logs de servidor: verás qué robots de IA pasan de verdad, con qué frecuencia y en qué páginas se atascan.
Analizar mis logs 🧭 Auditoría GEO completaLa auditoría agrupada reúne todos los escáneres en un único informe, con las correcciones priorizadas y la exportación en PDF.
Lanzar la auditoría