{"database": "catalogue", "table": "datasets", "rows": [["data.gouv.fr", "https://www.data.gouv.fr/datasets/6a8d200d5bd6ad13fb4e80d7", 1, "Les sites publics francais bloquent-ils les robots d'IA ? robots.txt de 3 581 domaines (aout 2026)", "Mesure du fichier `robots.txt` de 3 581 noms de domaine declares par des administrations et organismes publics francais, sous l'angle d'une question de politique publique ouverte : **les sites publics autorisent-ils les robots d'indexation des systemes d'intelligence artificielle ?** Releve du 25 aout 2026.\n\n**Resultat principal : 96,3 % des sites publics dotes d'un `robots.txt` valide ne bloquent aucun robot d'IA.** Sur 2 610 fichiers valides, 96 seulement (3,7 %) en excluent au moins un.\n\nPar robot, part des sites qui le bloquent :\n\n| robot | part |\n|---|---|\n| Bytespider (ByteDance) | 2,8 % |\n| GPTBot (OpenAI) | 2,0 % |\n| CCBot (Common Crawl) | 1,8 % |\n| ClaudeBot (Anthropic) | 1,5 % |\n| Google-Extended | 1,4 % |\n| Meta-ExternalAgent | 1,1 % |\n| Applebot-Extended | 1,0 % |\n| PerplexityBot | 0,2 % |\n\nParmi les 96 sites qui bloquent, 44 ne visent qu'un seul robot et 4 les bloquent tous les onze : le blocage est le plus souvent partiel, ce qui suggere une configuration reprise ailleurs plutot qu'une politique deliberee.\n\n**Une precaution de mesure, sans laquelle le denominateur serait faux.** 2 777 domaines repondent HTTP 200 sur `/robots.txt`, mais 167 d'entre eux ne servent pas un `robots.txt` : ils renvoient une page HTML, souvent leur page \u00ab introuvable \u00bb, avec un code 200. Un fichier n'est retenu ici que si sa reponse n'est pas du HTML et contient au moins une directive `User-agent:`.\n\n**Un piege d'analyse, signale parce qu'il fausse silencieusement les comptages.** Un `robots.txt` peut declarer plusieurs `User-agent` consecutifs partageant le meme groupe de regles. Un parseur qui n'associe les regles qu'au dernier agent declare manque les groupes du type `User-agent: GPTBot` suivi de `User-agent: CCBot`. Les agents sont ici traites par groupe.\n\n**Ce que ce jeu de donnees ne dit pas.** Il ne mesure pas si les robots respectent ces directives, ni si les contenus sont effectivement utilises pour entrainer des modeles. `robots.txt` est une convention declarative, pas un controle d'acces. L'absence de blocage ne signifie pas qu'une administration a pris position : dans la majorite des cas, la question n'a probablement pas ete posee, ce qui est precisement l'interet de la mesure.\n\n**Limites.** La population provient des 10 000 premiers enregistrements de l'Annuaire de l'administration (api-lannuaire.service-public.fr), adresses extraites puis dedupliquees par domaine : elle n'est pas exhaustive de l'administration francaise. 971 domaines n'ont pas de `robots.txt` valide ou n'ont pas repondu, et figurent au fichier avec leur code de reponse. La mesure a ete faite une fois, sans nouvelle tentative apres echec reseau.\n\nLe fichier contient aussi la declaration d'un `sitemap` : **57,2 %** des `robots.txt` valides en declarent un.\n\nMesure realisee dans le cadre de travaux publics sur les fichiers de configuration du web et l'acces des agents automatiques, publies sur <a href=\"https://anonymflow.com\">anonymflow.com</a>.", "https://www.data.gouv.fr/datasets/les-sites-publics-francais-bloquent-ils-les-robots-dia-robots-txt-de-3-581-domaines-aout-2026", "Leroy Leroy", "http://opendatacommons.org/licenses/pddl/summary/", "2026-08-25T04:54:37.678000", "2026-08-27T15:01:47.868000", "[\"administration\", \"claudebot\", \"crawlers\", \"donnees-ouvertes\", \"gptbot\", \"intelligence-artificielle\", \"robots-txt\", \"web\"]", "[]", "https://www.data.gouv.fr/datasets/6a8d200d5bd6ad13fb4e80d7", "6a8d200d5bd6ad13fb4e80d7"]], "columns": ["portal_id", "key", "harvest_id", "title", "description", "landing_page", "publisher", "licence", "issued", "modified", "keywords", "themes", "uri", "identifier"], "primary_keys": ["portal_id", "key"], "primary_key_values": ["data.gouv.fr", "https://www.data.gouv.fr/datasets/6a8d200d5bd6ad13fb4e80d7"], "units": {}, "query_ms": 5.653622999489016, "source": "Dateno, DataPortals.org, data.europa.eu, opendatArchives, and each portal's DCAT catalogue", "source_url": "https://github.com/datenoio/dataportals-registry", "license": "CC BY 4.0 (portal directory, derived from Dateno); dataset metadata as each portal publishes it", "license_url": "https://creativecommons.org/licenses/by/4.0/"}