Gerador de llms.txt e robots.txt para IA
Cria um ficheiro llms.txt que explica o teu site aos assistentes de IA e regras de robots.txt para permitir ou bloquear os crawlers de IA.
A carregar Gerador de llms.txt e robots.txt para IA… Se nada acontecer, ativa o JavaScript.
Os assistentes de IA leem hoje a web de duas formas diferentes, e quem gere um site precisa de ter voz em ambas. A primeira é o llms.txt, uma proposta publicada em llmstxt.org para um ficheiro Markdown simples na raiz do site que diz a um modelo de linguagem o que é o site e onde estão as páginas mais úteis. O formato é propositadamente pequeno: um H1 com o nome do site, uma citação com um resumo curto, parágrafos opcionais de contexto e depois secções H2, cada uma com uma lista de ligações no formato [Título](url): descrição. Uma secção chamada Optional marca as ligações que um agente pode saltar quando tem pouco contexto disponível. Este gerador constrói esse ficheiro a partir de um formulário simples, com secções e ligações que podes acrescentar, remover e reordenar, e mostra o Markdown final à medida que escreves.
Perguntas frequentes
O que é o llms.txt?
O ChatGPT, o Claude ou a Google leem mesmo o llms.txt?
O que vai na secção Optional?
O que é o llms-full.txt e esta ferramenta consegue criá-lo?
Qual é a diferença entre GPTBot, OAI-SearchBot e ChatGPT-User?
Bloquear o Google-Extended tira o meu site da Google?
O robots.txt trava mesmo os crawlers de IA?
O que acontece às regras que já tenho no robots.txt?
O que colo aqui é enviado para algum servidor?
Sobre Gerador de llms.txt e robots.txt para IA
Se o teu site já tem um sitemap.xml, não precisas de escrever as ligações à mão. Cola o conteúdo do sitemap, ou qualquer lista de URLs, na caixa de importação e a ferramenta extrai todos os endereços, adivinha um título legível a partir do caminho e agrupa as páginas em secções pelo primeiro segmento do caminho, de modo que as páginas de /docs/ ficam em Docs e as de /blog/ em Blog. A análise é feita no teu navegador e nada é descarregado, por isso funciona com sites de testes, intranets e sitemaps ainda por publicar. As ligações relativas são resolvidas a partir do URL do site que indicares, os duplicados são assinalados e um painel de notas aponta tudo o que tornaria o ficheiro mais difícil de usar por um modelo, como títulos em falta ou cabeçalhos dentro do bloco de detalhes.
O segundo separador trata do outro lado: que crawlers de IA podem visitar o site. Lista os tokens de robots.txt que os principais fornecedores documentam, agrupados pela função, para veres a diferença entre treino de modelos (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), indexação para pesquisa com IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot) e acessos pedidos por um utilizador (ChatGPT-User, Claude-User, Perplexity-User). Com um clique aplicas uma política comum, como bloquear o treino e continuar visível na pesquisa com IA. Cola o teu robots.txt atual e as tuas regras mantêm-se, as regras antigas para os mesmos bots são substituídas, as linhas Sitemap passam para o fim e o bloco de IA é acrescentado. Copia ou descarrega os dois ficheiros e coloca-os na raiz do site.
Uma regra de uma lista de correio de 1994 decide hoje quem treina IA
O robots.txt foi proposto por Martijn Koster em 1994, depois de um crawler mal comportado ter sobrecarregado o seu servidor. Foi acordado numa lista de correio e não por um organismo de normalização, e durante 28 anos continuou a ser uma convenção informal que, mesmo assim, todos os grandes motores de pesquisa seguiam. Só se tornou norma oficial da internet em setembro de 2022, como RFC 9309, em grande parte graças ao empenho da Google.
A chegada dos grandes modelos de linguagem deu ao velho ficheiro uma nova função. Quando a OpenAI publicou o agente GPTBot em agosto de 2023, milhares de sites de notícias acrescentaram um bloqueio em poucas semanas, e a Google respondeu um mês depois com o token Google-Extended, para que os editores pudessem recusar o treino de IA sem sair da Pesquisa Google. Os estudos sobre os sites mais visitados mostram desde então um aumento constante das regras específicas para IA, ao ponto de o robots.txt se ter tornado um dos principais sítios onde a discussão sobre dados de treino é, na prática, decidida.
O llms.txt vem da direção oposta. Jeremy Howard, da Answer.AI, propô-lo em setembro de 2024, não para manter os modelos à distância, mas para lhes dar uma entrada mais arrumada, inspirado pela quantidade de contexto que um modelo desperdiça com a confusão do HTML. O formato é Markdown simples de propósito, para poder ser lido tão bem por uma pessoa como por um programa ou por um modelo de linguagem.