Generador de llms.txt y robots.txt para IA
Crea un archivo llms.txt que explica tu sitio a los asistentes de IA y reglas de robots.txt para permitir o bloquear los rastreadores de IA.
Cargando Generador de llms.txt y robots.txt para IA… Si no ocurre nada, activa JavaScript.
Los asistentes de IA leen hoy la web de dos maneras distintas, y quien gestiona un sitio necesita decidir sobre ambas. La primera es llms.txt, una propuesta publicada en llmstxt.org para un archivo Markdown sencillo en la raíz del sitio que le cuenta a un modelo de lenguaje qué es el sitio y dónde están sus páginas más útiles. El formato es pequeño a propósito: un H1 con el nombre del sitio, una cita con un resumen breve, párrafos opcionales de contexto y después secciones H2, cada una con una lista de enlaces en la forma [Título](url): descripción. Una sección llamada Optional marca los enlaces que un agente puede saltarse cuando tiene poco contexto disponible. Este generador construye ese archivo a partir de un formulario sencillo, con secciones y enlaces que puedes añadir, quitar y reordenar, y muestra el Markdown final mientras escribes.
Preguntas frecuentes
¿Qué es llms.txt?
¿ChatGPT, Claude o Google leen de verdad llms.txt?
¿Qué va en la sección Optional?
¿Qué es llms-full.txt y puede crearlo esta herramienta?
¿Qué diferencia hay entre GPTBot, OAI-SearchBot y ChatGPT-User?
¿Bloquear Google-Extended saca mi sitio de Google?
¿De verdad robots.txt detiene a los rastreadores de IA?
¿Qué pasa con las reglas que ya tengo en robots.txt?
¿Se envía a algún servidor lo que pego?
Acerca de Generador de llms.txt y robots.txt para IA
Si tu sitio ya tiene un sitemap.xml, no hace falta escribir los enlaces a mano. Pega el contenido del sitemap, o cualquier lista de URLs, en el cuadro de importación y la herramienta extrae todas las direcciones, deduce un título legible a partir de la ruta y agrupa las páginas en secciones según el primer segmento de la ruta, de modo que las páginas de /docs/ quedan en Docs y las de /blog/ en Blog. El análisis se hace en tu navegador y no se descarga nada, así que funciona con sitios de pruebas, intranets y sitemaps que aún no has publicado. Los enlaces relativos se resuelven con la URL del sitio que indiques, los duplicados se señalan y un panel de notas avisa de todo lo que haría el archivo más difícil de usar para un modelo, como títulos que faltan o encabezados dentro del bloque de detalles.
La segunda pestaña se ocupa del otro lado: qué rastreadores de IA pueden visitar el sitio. Enumera los tokens de robots.txt que documentan los principales proveedores, agrupados por su función, para que veas la diferencia entre entrenamiento de modelos (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), indexación para búsqueda con IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot) y accesos que pide un usuario (ChatGPT-User, Claude-User, Perplexity-User). Con un clic aplicas una política habitual, como bloquear el entrenamiento y seguir visible en la búsqueda con IA. Pega tu robots.txt actual y tus reglas se conservan, las reglas antiguas para los mismos bots se sustituyen, las líneas Sitemap pasan al final y se añade el bloque de IA. Copia o descarga los dos archivos y súbelos a la raíz de tu sitio.
Una regla de una lista de correo de 1994 decide hoy quién entrena la IA
Martijn Koster propuso robots.txt en 1994, después de que un rastreador mal programado saturara su servidor. Se acordó en una lista de correo y no en un organismo de normalización, y durante 28 años siguió siendo una convención informal que, aun así, respetaban todos los grandes buscadores. No se convirtió en estándar oficial de internet hasta septiembre de 2022, como RFC 9309, en buena parte gracias al impulso de Google.
La llegada de los grandes modelos de lenguaje le dio al viejo archivo un nuevo trabajo. Cuando OpenAI publicó el agente GPTBot en agosto de 2023, miles de medios de noticias añadieron un bloqueo en pocas semanas, y Google respondió un mes después con el token Google-Extended, para que los editores pudieran rechazar el entrenamiento de IA sin salir de la Búsqueda de Google. Los estudios sobre los sitios más visitados muestran desde entonces un aumento constante de las reglas específicas para IA, hasta el punto de que robots.txt se ha convertido en uno de los principales lugares donde, en la práctica, se decide la discusión sobre los datos de entrenamiento.
llms.txt llega desde la dirección contraria. Jeremy Howard, de Answer.AI, lo propuso en septiembre de 2024, no para mantener alejados a los modelos, sino para ofrecerles una entrada más ordenada, inspirado por la cantidad de contexto que un modelo desperdicia con el desorden del HTML. Su formato es Markdown sencillo a propósito, para que lo lea igual de bien una persona, un programa o un modelo de lenguaje.