{"database": "catalogue", "table": "datasets", "rows": [["data.gouv.fr", "https://www.data.gouv.fr/datasets/6ad1a842940b66f210664980", 1, "robots.txt et sitemap.xml sur 1 000 sites publics locaux fran\u00e7ais (octobre 2026)", "Relev\u00e9 reproductible, mesur\u00e9 le 16 octobre 2026, de la pr\u00e9sence d'un fichier `robots.txt` et d'un `sitemap.xml` sur 1 000 sites web de collectivit\u00e9s et services publics locaux fran\u00e7ais.\n\n**Population** : l'annuaire officiel Service-public.gouv.fr, base de donn\u00e9es locales (DILA, Licence Ouverte), version du 31 juillet 2026. **\u00c9chantillon** : 1 000 domaines tir\u00e9s au hasard avec la graine fixe `20260802`, le m\u00eame que les relev\u00e9s publi\u00e9s en ao\u00fbt et les 14, 15 et 16 octobre 2026.\n\n**M\u00e9thode** : GET de `/robots.txt`, de `/sitemap.xml` et d'une adresse inexistante en contr\u00f4le (les domaines qui r\u00e9pondent 200 \u00e0 tout sont \u00e9cart\u00e9s). Un robots.txt compte s'il est servi en 200 et n'est pas une page HTML ; un sitemap.xml s'il est r\u00e9ellement du XML de sitemap. T\u00e9moins : service-public.fr et cloudflare.com valides, example.com sans les deux fichiers.\n\n**R\u00e9sultats** : 783 domaines concluants (138 sans r\u00e9ponse HTTPS, 79 r\u00e9pondent 200 \u00e0 tout). **robots.txt valide : 651 (83,1 %)**, dont 409 (52,2 %) d\u00e9clarent un sitemap. **sitemap.xml valide : 512 (65,4 %)**. Ni l'un ni l'autre : 110 (14,0 %). Blocage g\u00e9n\u00e9ral (`User-agent: *` puis `Disallow: /`) : 4, relus \u00e0 la main ; l'un n'autorise que les robots de Google, ce qui exclut Bing et les moteurs qu'il alimente.\n\n**Ce que ce n'est pas** : un audit de r\u00e9f\u00e9rencement ; un sitemap peut \u00eatre d\u00e9clar\u00e9 ailleurs que dans robots.txt. Citer la date de mesure.\n\nProducteur : ZAX, r\u00e9f\u00e9rencement naturel et cr\u00e9ation de sites. Ce que co\u00fbte le r\u00e9f\u00e9rencement d'un site : https://z-ax.com/fr/blog/prix-referencement-naturel-2026/", "https://www.data.gouv.fr/datasets/robots-txt-et-sitemap-xml-sur-1-000-sites-publics-locaux-francais-octobre-2026", "Leroy Leroy", "http://www.opendefinition.org/licenses/cc-by", "2026-10-16T04:29:54.229000", "2026-10-16T04:29:55.679000", "[\"collectivites\", \"referencement\", \"robots-txt\", \"service-public\", \"sitemap\", \"web\"]", "[]", "https://www.data.gouv.fr/datasets/6ad1a842940b66f210664980", "6ad1a842940b66f210664980"]], "columns": ["portal_id", "key", "harvest_id", "title", "description", "landing_page", "publisher", "licence", "issued", "modified", "keywords", "themes", "uri", "identifier"], "primary_keys": ["portal_id", "key"], "primary_key_values": ["data.gouv.fr", "https://www.data.gouv.fr/datasets/6ad1a842940b66f210664980"], "units": {}, "query_ms": 3.885133999574464, "source": "Dateno, DataPortals.org, data.europa.eu, opendatArchives, and each portal's DCAT catalogue", "source_url": "https://github.com/datenoio/dataportals-registry", "license": "CC BY 4.0 (portal directory, derived from Dateno); dataset metadata as each portal publishes it", "license_url": "https://creativecommons.org/licenses/by/4.0/"}