Robots.txt-Tester
Prüfen Sie, ob ein Crawler wie Googlebot oder GPTBot eine Seite besuchen darf und welche Zeile der robots.txt das entscheidet.
Robots.txt-Tester wird geladen… Wenn nichts passiert, aktiviere JavaScript.
Eine robots.txt sieht einfach aus, doch die Art, wie Crawler sie lesen, folgt ein paar Regeln, die fast jeden überraschen. Ein Crawler kombiniert seine eigene Gruppe nicht mit der Gruppe User-agent: *: Sobald eine Gruppe ihn nennt, gelten die allgemeinen Regeln nicht mehr. Zwischen Allow und Disallow spielt die Reihenfolge der Zeilen keine Rolle; es gewinnt die Regel mit dem längsten passenden Pfad, und sind ein Allow und ein Disallow gleich lang, gewinnt Allow. Pfade unterscheiden Groß- und Kleinschreibung, ein * passt auf beliebig viele Zeichen, ein $ am Ende verankert den Vergleich am Ende der URL, und ein leeres Disallow sperrt nichts. Seit 2022 sind diese Regeln in RFC 9309 festgehalten, dem Standard des Robots Exclusion Protocol, dem Google, Bing und die meisten großen Crawler folgen.
Häufig gestellte Fragen
Befolgt ein Crawler mit eigener Gruppe noch User-agent: *?
Sowohl Allow als auch Disallow passen auf meine URL. Welche Regel gewinnt?
Wie funktionieren * und $ in der robots.txt?
Unterscheiden Pfade in der robots.txt Groß- und Kleinschreibung?
Entfernt eine Sperre in der robots.txt eine Seite aus Google?
Wie sperre ich KI-Crawler wie GPTBot und ClaudeBot?
Warum ist /robots.txt immer erlaubt?
Wie groß darf eine robots.txt sein?
Warum erscheint unter meiner URL ein anderer Pfad?
Über Robots.txt-Tester
Dieser Tester setzt den Standard direkt in Ihrem Browser um. Fügen Sie Ihre robots.txt ein, geben Sie die gewünschten URLs oder Pfade ein, einen pro Zeile, und wählen Sie einen Crawler: Googlebot mit seinen Varianten für Bilder, News und Videos, Bingbot, Applebot, DuckDuckBot, YandexBot, KI-Crawler wie GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und CCBot, Bots für Link-Vorschauen, SEO-Tools oder ein eigenes Token. Für jeden Pfad sehen Sie Erlaubt oder Gesperrt, die genaue Regel, die entschieden hat, mit Zeilennummer, und die unterlegene Gegenregel, sodass sich ein Ergebnis wie "gesperrt durch Disallow: /*.pdf$ in Zeile 5" leicht nachvollziehen lässt. Die Dateiansicht hebt die Gruppe hervor, die für den gewählten Crawler gilt, und färbt jede verwendete Zeile ein.
Der Tester weist außerdem auf Probleme hin, durch die sich eine robots.txt anders verhält als beabsichtigt: Regeln vor der ersten User-agent-Zeile, unbekannte oder falsch geschriebene Direktiven, vollständige URLs, wo ein Pfad erwartet wird, eine UTF-8-Bytereihenfolgemarke am Anfang, Direktiven wie Noindex, die Crawler nicht mehr beachten, und Dateien über den 500 KiB, die Google liest. Er listet die Sitemap-Zeilen und das geltende Crawl-delay auf, mit dem Hinweis, dass Google Crawl-delay ignoriert. Besonderheiten einzelner Crawler sind eingebaut: Googlebot-Image greift auf die Googlebot-Gruppe zurück, Applebot folgt den Googlebot-Regeln, wenn er nicht genannt wird, und die Crawler AdsBot und AdSense ignorieren die Gruppe * vollständig. Nichts wird abgerufen oder hochgeladen, Sie können also einen Entwurf testen, bevor er online geht.
Ein Standard, der 28 Jahre brauchte
Martijn Koster schlug die Regeln zum Ausschluss von Robots im Februar 1994 auf der Mailingliste www-talk vor, nachdem ein schlecht programmierter Crawler seinen Server bei Nexor überlastet hatte. Ende Juni hatten die damaligen Robot-Autoren zugesagt, sich daran zu halten, und das folgende Vierteljahrhundert stützte sich das ganze Web auf eine Konvention, die nie formell standardisiert worden war. Jede Suchmaschine legte die Grenzfälle etwas anders aus, von Platzhaltern bis zur Dateigröße.
Im Juli 2019, zum 25. Jahrestag des ursprünglichen Vorschlags, reichte Google gemeinsam mit Koster und anderen Suchmaschinen einen Entwurf bei der IETF ein und veröffentlichte den C++-Parser als Open Source, den Googlebot seit zwanzig Jahren verwendete. Der Entwurf durchlief drei weitere Jahre Prüfung und erschien im September 2022 als RFC 9309. Die Grundregeln hatten sich seit 1994 kaum verändert, doch der RFC klärte endlich die Fragen, über die jahrzehntelang gestritten worden war: Allow ist offiziell, der längste Treffer gewinnt, und Crawler müssen mindestens 500 KiB lesen.