Testador de robots.txt
Verifica se um crawler como o Googlebot ou o GPTBot pode visitar uma página, e que linha do robots.txt decide.
A carregar Testador de robots.txt… Se nada acontecer, ativa o JavaScript.
Um ficheiro robots.txt parece simples, mas a forma como os crawlers o leem tem algumas regras que surpreendem quase toda a gente. Um crawler não junta o seu próprio grupo ao grupo User-agent: *: assim que um grupo o nomeia, as regras gerais deixam de se aplicar. Entre Allow e Disallow, a ordem das linhas não interessa; ganha a regra com o caminho correspondente mais longo e, quando um Allow e um Disallow têm o mesmo comprimento, ganha o Allow. Os caminhos distinguem maiúsculas de minúsculas, um * corresponde a qualquer sequência de caracteres, um $ no fim prende a correspondência ao fim do URL e um Disallow vazio não bloqueia nada. Desde 2022 estas regras estão escritas no RFC 9309, a norma do Robots Exclusion Protocol que o Google, o Bing e a maioria dos grandes crawlers seguem.
Perguntas frequentes
Se um crawler tem o seu próprio grupo, continua a obedecer ao User-agent: *?
Tanto o Allow como o Disallow correspondem ao meu URL. Qual ganha?
Como funcionam o * e o $ no robots.txt?
Os caminhos do robots.txt distinguem maiúsculas de minúsculas?
Bloquear uma página no robots.txt tira-a do Google?
Como bloqueio crawlers de IA como o GPTBot e o ClaudeBot?
Porque é que o /robots.txt está sempre permitido?
Qual pode ser o tamanho de um ficheiro robots.txt?
Porque aparece um caminho diferente por baixo do meu URL?
Sobre Testador de robots.txt
Este testador implementa essa norma diretamente no teu navegador. Cola o teu robots.txt, indica os URLs ou caminhos que te interessam, um por linha, e escolhe um crawler: o Googlebot e as suas variantes de imagens, notícias e vídeo, o Bingbot, o Applebot, o DuckDuckBot, o YandexBot, os crawlers de IA como o GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e CCBot, bots de pré-visualização de links, ferramentas de SEO ou qualquer token personalizado. Para cada caminho tens Permitido ou Bloqueado, a regra exata que decidiu, com o número da linha, e a regra concorrente que ela venceu, por isso um resultado como "bloqueado por Disallow: /*.pdf$ na linha 5" é fácil de seguir. A vista do ficheiro destaca o grupo que se aplica ao crawler escolhido e colore cada linha que foi usada.
O testador aponta também problemas que fazem um robots.txt comportar-se de forma diferente do que o autor pretendia: regras antes de qualquer linha User-agent, diretivas desconhecidas ou mal escritas, URLs completos onde se espera um caminho, uma marca de ordem de bytes UTF-8 no início, diretivas como Noindex que os crawlers já não respeitam, e ficheiros acima dos 500 KiB que o Google lê. Lista as linhas Sitemap e o Crawl-delay que se aplica, lembrando que o Google ignora o Crawl-delay. As particularidades de cada crawler estão incluídas: o Googlebot-Image recorre ao grupo do Googlebot, o Applebot segue as regras do Googlebot quando não é nomeado, e os crawlers AdsBot e AdSense ignoram por completo o grupo *. Nada é descarregado nem enviado, por isso podes testar um rascunho antes de o publicares.
Uma norma que demorou 28 anos a sê-lo
Martijn Koster propôs as regras de exclusão de robots em fevereiro de 1994 na lista de correio www-talk, depois de um crawler mal comportado ter sobrecarregado o seu servidor na Nexor. No fim de junho, os autores de robots da época tinham concordado em segui-las, e durante o quarto de século seguinte toda a web assentou numa convenção que nunca tinha sido formalmente normalizada. Cada motor de busca interpretava os casos limite de forma ligeiramente diferente, dos curingas ao tamanho do ficheiro.
Em julho de 2019, no 25.º aniversário da proposta original, a Google submeteu um rascunho ao IETF juntamente com Koster e outros motores de busca, e publicou em código aberto o analisador em C++ que o Googlebot usava há vinte anos. O rascunho passou por mais três anos de revisão e foi publicado como RFC 9309 em setembro de 2022. As regras essenciais quase não mudaram desde 1994, mas o RFC resolveu finalmente as questões discutidas durante décadas: o Allow é oficial, ganha a correspondência mais longa e os crawlers têm de ler pelo menos 500 KiB.