BrowserTools
Accueil / IA / Générateur llms.txt et robots.txt pour l'IA

Générateur llms.txt et robots.txt pour l'IA

Créez un fichier llms.txt qui présente votre site aux assistants d'IA et des règles robots.txt pour autoriser ou bloquer les robots d'IA.

Maintenu par BrowserTools · Dernière mise à jour 2026-09-29

Chargement de Générateur llms.txt et robots.txt pour l'IA… Si rien ne se passe, activez JavaScript.

Les assistants IA lisent désormais le web de deux façons différentes, et les propriétaires de sites doivent pouvoir décider des deux. La première est llms.txt, une proposition publiée sur llmstxt.org pour un simple fichier Markdown placé à la racine d'un site, qui indique à un modèle de langage ce qu'est le site et où se trouvent ses pages les plus utiles. Le format est volontairement réduit : un titre H1 avec le nom du site, une citation avec un court résumé, des paragraphes de contexte facultatifs, puis des sections H2 contenant chacune une liste de liens au format [Titre](url): description. Une section nommée Optional signale les liens qu'un agent peut ignorer lorsque son contexte est limité. Ce générateur construit ce fichier à partir d'un formulaire simple, avec des sections et des liens que vous pouvez ajouter, supprimer et réordonner, et affiche le Markdown final au fil de la saisie.

Questions fréquentes

Qu'est-ce que llms.txt ?
C'est une proposition de standard, publiée sur llmstxt.org en 2024, pour un fichier Markdown servi à l'adresse /llms.txt qui donne aux modèles de langage une vue d'ensemble organisée d'un site. Il commence par le nom du site en titre H1 et un résumé d'un paragraphe dans une citation, suivis de sections de liens vers les pages les plus importantes. L'idée est qu'un modèle qui lit une liste propre de liens bien décrits consomme bien moins de contexte qu'un modèle qui doit décortiquer menus, bandeaux de cookies et scripts.
ChatGPT, Claude ou Google lisent-ils vraiment llms.txt ?
Aucun des grands acteurs de l'IA ne s'est engagé à lire llms.txt pour répondre aux questions, et des représentants de Google ont indiqué que la Recherche ne l'utilise pas. Là où il est clairement utile aujourd'hui, c'est avec les assistants de programmation, les outils de documentation et les agents qu'on oriente vers un site et qui cherchent ce fichier, ce qui explique que beaucoup de sites de documentation technique en publient un. L'ajouter coûte peu, mais c'est une commodité pour les outils qui choisissent de s'en servir, pas un facteur de classement.
Que mettre dans la section Optional ?
Des liens utiles mais pas indispensables : journaux des modifications, pages presse, anciennes versions de la documentation ou lectures de fond. La proposition précise qu'un agent qui a besoin d'un contexte plus court peut sauter entièrement la section Optional, donc placez vos pages essentielles dans les sections normales et le reste dans celle-ci. Cet outil écrit toujours la section Optional en dernier, là où les outils s'attendent à la trouver.
Qu'est-ce que llms-full.txt et cet outil peut-il le créer ?
llms-full.txt est une convention de la communauté et ne fait pas partie de la proposition : un fichier unique contenant le texte intégral de chaque page listée dans llms.txt, pour qu'un outil charge toute votre documentation en une seule requête. Il doit être construit à partir du contenu réel des pages, généralement par votre générateur de documentation au moment du build. Comme cette page n'accède jamais à votre site, elle ne peut pas produire ce fichier, mais le guide sous le résultat explique comment l'assembler.
Quelle différence entre GPTBot, OAI-SearchBot et ChatGPT-User ?
Ce sont trois agents distincts d'OpenAI avec des missions différentes. GPTBot collecte du contenu susceptible de servir à entraîner des modèles, OAI-SearchBot indexe les pages pour qu'elles apparaissent avec un lien dans la recherche de ChatGPT, et ChatGPT-User ne visite une page que lorsqu'une personne le demande dans ChatGPT. Anthropic suit le même schéma avec ClaudeBot, Claude-SearchBot et Claude-User, et Perplexity avec PerplexityBot et Perplexity-User. C'est pourquoi bloquer l'entraînement n'oblige pas à disparaître des réponses des IA.
Bloquer Google-Extended retire-t-il mon site de Google ?
Non. Google-Extended est un jeton de contrôle, pas un robot : les pages restent récupérées par le Googlebot habituel, et le jeton indique seulement à Google si ce contenu peut servir à entraîner et à ancrer les modèles Gemini. Google affirme qu'il n'a aucun effet sur l'inclusion ni sur le classement dans la Recherche Google. Applebot-Extended fonctionne de la même manière chez Apple : le bloquer garde vos pages dans Siri et Spotlight, mais hors de l'entraînement des modèles d'Apple.
robots.txt arrête-t-il vraiment les robots d'IA ?
Seulement ceux qui choisissent de le respecter. robots.txt est un protocole volontaire, sans aucun moyen de contrainte, et les grands éditeurs affirment que leurs robots automatiques le suivent. Les accès déclenchés par un utilisateur, comme Perplexity-User et ChatGPT-User, sont documentés comme ne le respectant pas toujours, et certains robots comme Bytespider l'ignoreraient d'après de nombreux relevés. Si vous avez besoin d'un vrai blocage, ajoutez aussi des règles dans votre serveur web, votre CDN ou votre pare-feu.
Que deviennent les règles déjà présentes dans mon robots.txt ?
Elles restent telles quelles. L'outil supprime uniquement les groupes qui nomment les robots d'IA que vous gérez, afin qu'il y ait une seule règle claire pour chacun, regroupe les lignes Sitemap à la fin du fichier et ajoute le bloc IA. Si vous activez les groupes Allow explicites, les règles de votre groupe User-agent: * y sont recopiées, car un robot qui trouve un groupe portant son nom ignore complètement le groupe *.
Ce que je colle est-il envoyé à un serveur ?
Non. Le générateur de llms.txt, l'analyseur de sitemap et la fusion du robots.txt s'exécutent en JavaScript dans votre navigateur, et la page n'envoie aucune requête réseau pendant que vous travaillez. Vous pouvez donc coller des sitemaps d'environnements de test ou des fichiers robots.txt qui mentionnent des chemins privés.

À propos de Générateur llms.txt et robots.txt pour l'IA

Si votre site possède déjà un sitemap.xml, inutile de saisir les liens à la main. Collez le contenu du sitemap, ou n'importe quelle liste d'URL, dans la zone d'importation : l'outil extrait chaque adresse, devine un titre lisible à partir du chemin et regroupe les pages en sections selon le premier segment du chemin, si bien que les pages de /docs/ vont dans Docs et celles de /blog/ dans Blog. L'analyse se fait dans votre navigateur et rien n'est téléchargé, ce qui fonctionne aussi pour des sites de préproduction, des intranets et des sitemaps pas encore publiés. Les liens relatifs sont résolus à partir de l'URL du site que vous indiquez, les doublons sont signalés et un panneau de notes relève tout ce qui rendrait le fichier moins exploitable pour un modèle, comme des titres manquants ou des intertitres dans le bloc de détails.

Le second onglet traite l'autre versant : quels robots d'IA ont le droit de passer. Il liste les jetons robots.txt documentés par les principaux éditeurs, regroupés selon leur rôle, pour distinguer l'entraînement de modèles (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), l'indexation pour la recherche IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot) et les accès demandés par un utilisateur (ChatGPT-User, Claude-User, Perplexity-User). Un clic applique une politique courante, par exemple bloquer l'entraînement tout en restant visible dans la recherche IA. Collez votre robots.txt actuel : vos règles sont conservées, les anciennes règles visant les mêmes robots sont remplacées, les lignes Sitemap passent à la fin et le bloc IA est ajouté. Copiez ou téléchargez les deux fichiers et déposez-les à la racine de votre site.

Une règle née sur une liste de diffusion en 1994 décide aujourd'hui qui entraîne l'IA

Martijn Koster a proposé robots.txt en 1994, après qu'un robot mal conçu eut saturé son serveur. Le texte a été adopté sur une liste de diffusion et non par un organisme de normalisation, et pendant 28 ans il est resté une convention informelle que tous les grands moteurs de recherche suivaient pourtant. Il n'est devenu un standard officiel d'internet qu'en septembre 2022, sous le nom de RFC 9309, en grande partie grâce à l'impulsion de Google.

L'arrivée des grands modèles de langage a donné une nouvelle mission à ce vieux fichier. Quand OpenAI a publié l'agent GPTBot en août 2023, des milliers de sites d'information l'ont bloqué en quelques semaines, et Google a suivi un mois plus tard avec le jeton Google-Extended, pour que les éditeurs puissent refuser l'entraînement de l'IA sans quitter la Recherche Google. Depuis, les études sur les sites les plus visités montrent une hausse régulière des règles propres à l'IA, au point que robots.txt est devenu l'un des principaux endroits où se tranche, concrètement, le débat sur les données d'entraînement.

llms.txt vient de la direction opposée. Jeremy Howard, d'Answer.AI, l'a proposé en septembre 2024, non pas pour tenir les modèles à distance mais pour leur offrir une entrée mieux rangée, frappé par la quantité de contexte qu'un modèle gaspille dans le fouillis du HTML. Son format est du Markdown simple, à dessein, pour être lu aussi bien par une personne que par un programme ou un modèle de langage.

Outils associés

Analyseur d'URL

Découpez une adresse web en ses parties : domaine, chemin, paramètres de requête et plus.

Validateur XML

Vérifiez si un XML est valide, voyez où il casse et formatez-le proprement.

Validateur JSON

Vérifiez si un JSON est valide, voyez exactement où il casse et formatez-le proprement.

Compteur de tokens

Voyez combien de tokens votre texte utilise dans ChatGPT et d'autres modèles d'IA, avec une estimation pour Claude. Rien ne quitte votre navigateur.
Soutenir