datasets: data.gouv.fr, https://www.data.gouv.fr/datasets/6a8d200d5bd6ad13fb4e80d7
Data license: CC BY 4.0 (portal directory, derived from Dateno); dataset metadata as each portal publishes it · Data source: Dateno, DataPortals.org, data.europa.eu, opendatArchives, and each portal's DCAT catalogue
This data as json
| portal_id | key | harvest_id | title | description | landing_page | publisher | licence | issued | modified | keywords | themes | uri | identifier |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| data.gouv.fr | https://www.data.gouv.fr/datasets/6a8d200d5bd6ad13fb4e80d7 | 1 | Les sites publics francais bloquent-ils les robots d'IA ? robots.txt de 3 581 domaines (aout 2026) | Mesure du fichier `robots.txt` de 3 581 noms de domaine declares par des administrations et organismes publics francais, sous l'angle d'une question de politique publique ouverte : **les sites publics autorisent-ils les robots d'indexation des systemes d'intelligence artificielle ?** Releve du 25 aout 2026. **Resultat principal : 96,3 % des sites publics dotes d'un `robots.txt` valide ne bloquent aucun robot d'IA.** Sur 2 610 fichiers valides, 96 seulement (3,7 %) en excluent au moins un. Par robot, part des sites qui le bloquent : | robot | part | |---|---| | Bytespider (ByteDance) | 2,8 % | | GPTBot (OpenAI) | 2,0 % | | CCBot (Common Crawl) | 1,8 % | | ClaudeBot (Anthropic) | 1,5 % | | Google-Extended | 1,4 % | | Meta-ExternalAgent | 1,1 % | | Applebot-Extended | 1,0 % | | PerplexityBot | 0,2 % | Parmi les 96 sites qui bloquent, 44 ne visent qu'un seul robot et 4 les bloquent tous les onze : le blocage est le plus souvent partiel, ce qui suggere une configuration reprise ailleurs plutot qu'une politique deliberee. **Une precaution de mesure, sans laquelle le denominateur serait faux.** 2 777 domaines repondent HTTP 200 sur `/robots.txt`, mais 167 d'entre eux ne servent pas un `robots.txt` : ils renvoient une page HTML, souvent leur page « introuvable », avec un code 200. Un fichier n'est retenu ici que si sa reponse n'est pas du HTML et contient au moins une directive `User-agent:`. **Un piege d'analyse, signale parce qu'il fausse silencieusement les comptages.** Un `robots.txt` peut declarer plusieurs `User-agent` consecutifs partageant le meme groupe de regles. Un parseur qui n'associe les regles qu'au dernier agent declare manque les groupes du type `User-agent: GPTBot` suivi de `User-agent: CCBot`. Les agents sont ici traites par groupe. **Ce que ce jeu de donnees ne dit pas.** Il ne mesure pas si les robots respectent ces directives, ni si les contenus sont effectivement utilises pour entrainer des modeles. `robots.txt` est une convention declarative, pas un controle d'acces. L'absence de blocage ne signifie pas qu'une administration a pris position : dans la majorite des cas, la question n'a probablement pas ete posee, ce qui est precisement l'interet de la mesure. **Limites.** La population provient des 10 000 premiers enregistrements de l'Annuaire de l'administration (api-lannuaire.service-public.fr), adresses extraites puis dedupliquees par domaine : elle n'est pas exhaustive de l'administration francaise. 971 domaines n'ont pas de `robots.txt` valide ou n'ont pas repondu, et figurent au fichier avec leur code de reponse. La mesure a ete faite une fois, sans nouvelle tentative apres echec reseau. Le fichier contient aussi la declaration d'un `sitemap` : **57,2 %** des `robots.txt` valides en declarent un. Mesure realisee dans le cadre de travaux publics sur les fichiers de configuration du web et l'acces des agents automatiques, publies sur <a href="https://anonymflow.com">anonymflow.com</a>. | https://www.data.gouv.fr/datasets/les-sites-publics-francais-bloquent-ils-les-robots-dia-robots-txt-de-3-581-domaines-aout-2026 | Leroy Leroy | http://opendatacommons.org/licenses/pddl/summary/ | 2026-08-25T04:54:37.678000 | 2026-08-27T15:01:47.868000 | ["administration", "claudebot", "crawlers", "donnees-ouvertes", "gptbot", "intelligence-artificielle", "robots-txt", "web"] | [] | https://www.data.gouv.fr/datasets/6a8d200d5bd6ad13fb4e80d7 | 6a8d200d5bd6ad13fb4e80d7 |