BrowserTools
Startseite / KI / llms.txt- und KI-robots.txt-Generator

llms.txt- und KI-robots.txt-Generator

Erstellen Sie eine llms.txt, die KI-Assistenten Ihre Website erklärt, und robots.txt-Regeln, die KI-Crawler zulassen oder sperren.

Betreut von BrowserTools · Zuletzt aktualisiert 2026-09-29

llms.txt- und KI-robots.txt-Generator wird geladen… Wenn nichts passiert, aktiviere JavaScript.

KI-Assistenten lesen das Web heute auf zwei verschiedene Arten, und Websitebetreiber sollten bei beiden mitreden. Die erste ist llms.txt, ein auf llmstxt.org veröffentlichter Vorschlag für eine einfache Markdown-Datei im Stammverzeichnis einer Website, die einem Sprachmodell erklärt, worum es auf der Seite geht und wo die nützlichsten Inhalte liegen. Das Format ist bewusst klein gehalten: eine H1-Überschrift mit dem Namen der Website, ein Zitatblock mit einer kurzen Zusammenfassung, optionale Absätze mit Kontext und danach H2-Abschnitte, die jeweils eine Liste von Links im Format [Titel](url): Beschreibung enthalten. Ein Abschnitt namens Optional markiert Links, die ein Agent überspringen darf, wenn sein Kontext knapp wird. Dieser Generator baut die Datei aus einem einfachen Formular, mit Abschnitten und Links, die du hinzufügen, entfernen und umsortieren kannst, und zeigt das fertige Markdown schon während der Eingabe.

Häufig gestellte Fragen

Was ist llms.txt?
Ein 2024 auf llmstxt.org veröffentlichter Standardvorschlag für eine Markdown-Datei unter /llms.txt, die Sprachmodellen einen kuratierten Überblick über eine Website gibt. Sie beginnt mit dem Namen der Website als H1-Überschrift und einer Zusammenfassung in einem Zitatblock, gefolgt von Abschnitten mit Links auf die wichtigsten Seiten. Die Idee dahinter: Ein Modell, das eine saubere Liste gut beschriebener Links liest, verbraucht viel weniger Kontext als eines, das sich durch Menüs, Cookie-Banner und Skripte arbeiten muss.
Lesen ChatGPT, Claude oder Google llms.txt wirklich?
Keiner der großen KI-Anbieter hat zugesagt, llms.txt bei der Beantwortung von Fragen auszuwerten, und Vertreter von Google haben erklärt, dass die Suche sie nicht nutzt. Einen klaren Nutzen hat die Datei heute bei Coding-Assistenten, Dokumentationswerkzeugen und Agenten, die auf eine Website angesetzt werden und gezielt nach ihr suchen, weshalb viele Seiten mit technischer Dokumentation eine anbieten. Der Aufwand ist gering, aber es bleibt ein Komfort für Tools, die sie nutzen wollen, kein Ranking-Faktor.
Was gehört in den Abschnitt Optional?
Links, die nützlich, aber nicht unverzichtbar sind, etwa Changelogs, Presseseiten, ältere Versionen der Dokumentation oder Hintergrundlektüre. Laut Vorschlag darf ein Agent, der einen kürzeren Kontext braucht, den Abschnitt Optional komplett überspringen. Die Kernseiten gehören also in die normalen Abschnitte, der Rest dorthin. Dieses Tool schreibt den Abschnitt Optional immer ans Ende, wo Tools ihn erwarten.
Was ist llms-full.txt und kann dieses Tool sie erzeugen?
llms-full.txt ist eine Konvention aus der Community und nicht Teil des Vorschlags: eine einzige Datei mit dem vollständigen Text aller in llms.txt verlinkten Seiten, damit ein Tool die gesamte Dokumentation mit einer Anfrage laden kann. Sie muss aus dem tatsächlichen Seiteninhalt gebaut werden, in der Regel vom Dokumentationsgenerator beim Build. Da diese Seite nie auf deine Website zugreift, kann sie die Datei nicht erzeugen, die Anleitung unter dem Ergebnis erklärt aber, wie du sie zusammenstellst.
Worin unterscheiden sich GPTBot, OAI-SearchBot und ChatGPT-User?
Es sind drei getrennte OpenAI-Agenten mit unterschiedlichen Aufgaben. GPTBot sammelt Inhalte, die zum Training von Modellen verwendet werden können, OAI-SearchBot indexiert Seiten, damit sie in der ChatGPT-Suche mit Link erscheinen, und ChatGPT-User ruft eine Seite nur auf, wenn jemand in ChatGPT danach fragt. Anthropic folgt demselben Muster mit ClaudeBot, Claude-SearchBot und Claude-User, Perplexity mit PerplexityBot und Perplexity-User. Deshalb bedeutet das Sperren des Trainings nicht, dass du aus KI-Antworten verschwindest.
Nimmt das Sperren von Google-Extended meine Website aus Google heraus?
Nein. Google-Extended ist ein Steuerungs-Token und kein eigener Crawler: Die Seiten werden weiterhin vom normalen Googlebot abgerufen, und das Token teilt Google nur mit, ob diese Inhalte zum Training und zur Fundierung der Gemini-Modelle genutzt werden dürfen. Laut Google hat es keinen Einfluss auf Aufnahme oder Ranking in der Google-Suche. Applebot-Extended funktioniert bei Apple genauso: Wer es sperrt, bleibt in Siri und Spotlight, aber außerhalb des Trainings der Apple-Modelle.
Hält robots.txt KI-Crawler wirklich ab?
Nur die, die sich daran halten wollen. robots.txt ist ein freiwilliges Protokoll ohne jede Durchsetzung, und die großen Anbieter geben an, dass ihre automatischen Crawler es befolgen. Abrufe im Auftrag eines Nutzers, etwa Perplexity-User und ChatGPT-User, halten sich laut Dokumentation nicht immer daran, und Crawler wie Bytespider ignorieren es zahlreichen Berichten zufolge. Wenn du eine echte Sperre brauchst, ergänze Regeln im Webserver, im CDN oder in der Firewall.
Was passiert mit meinen bestehenden robots.txt-Regeln?
Sie bleiben, wie sie sind. Das Tool entfernt nur Gruppen, die die verwalteten KI-Crawler nennen, damit es für jeden genau eine klare Regel gibt, sammelt die Sitemap-Zeilen am Dateiende und hängt den KI-Block an. Wenn du explizite Allow-Gruppen aktivierst, werden die Regeln deiner User-agent: *-Gruppe hineinkopiert, denn ein Crawler, der eine Gruppe mit seinem eigenen Namen findet, ignoriert die *-Gruppe vollständig.
Wird das, was ich einfüge, an einen Server geschickt?
Nein. Der llms.txt-Generator, der Sitemap-Parser und das Zusammenführen der robots.txt laufen als JavaScript in deinem Browser, und die Seite stellt während der Arbeit keine Netzwerkanfrage. Du kannst also auch Sitemaps aus Staging-Umgebungen oder robots.txt-Dateien mit privaten Pfaden einfügen.

Über llms.txt- und KI-robots.txt-Generator

Hat deine Website bereits eine sitemap.xml, musst du die Links nicht von Hand eintippen. Füge den Inhalt der Sitemap oder eine beliebige URL-Liste in das Importfeld ein, und das Tool zieht jede Adresse heraus, leitet aus dem Pfad einen lesbaren Titel ab und ordnet die Seiten nach dem ersten Pfadsegment in Abschnitte ein, sodass Seiten unter /docs/ in Docs landen und Seiten unter /blog/ in Blog. Die Auswertung läuft im Browser und es wird nichts abgerufen, daher klappt das auch mit Staging-Umgebungen, Intranets und noch unveröffentlichten Sitemaps. Relative Links werden anhand der angegebenen Website-URL aufgelöst, Duplikate werden markiert, und ein Hinweisbereich zeigt alles, was die Datei für ein Modell schwerer nutzbar machen würde, etwa fehlende Titel oder Überschriften im Detailblock.

Der zweite Tab kümmert sich um die andere Seite: welche KI-Crawler überhaupt vorbeikommen dürfen. Er listet die robots.txt-Tokens auf, die die großen Anbieter dokumentieren, gruppiert nach Zweck, damit der Unterschied sichtbar wird zwischen Modelltraining (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), Indexierung für die KI-Suche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) und Abrufen, die ein Nutzer ausgelöst hat (ChatGPT-User, Claude-User, Perplexity-User). Mit einem Klick wendest du eine gängige Richtlinie an, zum Beispiel Training sperren und in der KI-Suche sichtbar bleiben. Füge deine bestehende robots.txt ein: Deine Regeln bleiben erhalten, alte Regeln für dieselben Bots werden ersetzt, Sitemap-Zeilen wandern ans Ende und der KI-Block wird angehängt. Kopiere oder lade beide Dateien herunter und lege sie ins Stammverzeichnis deiner Website.

Eine Mailinglisten-Regel von 1994 entscheidet heute, wer KI trainiert

Martijn Koster schlug robots.txt 1994 vor, nachdem ein schlecht programmierter Crawler seinen Server überlastet hatte. Die Regel wurde auf einer Mailingliste vereinbart und nicht von einem Normungsgremium, und 28 Jahre lang blieb sie eine informelle Konvention, an die sich trotzdem alle großen Suchmaschinen hielten. Erst im September 2022 wurde sie als RFC 9309 zum offiziellen Internetstandard, maßgeblich auf Betreiben von Google.

Mit den großen Sprachmodellen bekam die alte Datei eine neue Aufgabe. Als OpenAI im August 2023 den User-Agent GPTBot veröffentlichte, sperrten ihn Tausende Nachrichtenseiten innerhalb weniger Wochen, und Google zog einen Monat später mit dem Token Google-Extended nach, damit Verlage KI-Training ablehnen können, ohne die Google-Suche zu verlassen. Studien zu den meistbesuchten Websites zeigen seitdem einen stetigen Anstieg KI-spezifischer Regeln, sodass robots.txt zu einem der wichtigsten Orte geworden ist, an denen der Streit um Trainingsdaten praktisch entschieden wird.

llms.txt kommt aus der entgegengesetzten Richtung. Jeremy Howard von Answer.AI schlug es im September 2024 vor, nicht um Modelle fernzuhalten, sondern um ihnen einen aufgeräumteren Zugang zu bieten, angeregt davon, wie viel Kontext ein Modell an HTML-Ballast verschwendet. Das Format ist absichtlich schlichtes Markdown, damit es ein Mensch, ein Parser oder ein Sprachmodell gleichermaßen gut lesen kann.

Verwandte Tools

URL-Parser

Zerlegen Sie eine Webadresse in ihre Teile: Domain, Pfad, Abfrageparameter und mehr.

XML-Validator

Prüfen Sie, ob XML gültig ist, sehen Sie, wo der Fehler liegt, und formatieren Sie es sauber.

JSON-Validator

Prüfen Sie, ob JSON gültig ist, sehen Sie genau, wo der Fehler liegt, und formatieren Sie es sauber.

Token-Zähler

Sehen Sie, wie viele Tokens Ihr Text in ChatGPT und anderen KI-Modellen belegt, dazu eine Schätzung für Claude. Nichts verlässt Ihren Browser.
Unterstützen