datasets: data.gouv.fr, https://www.data.gouv.fr/datasets/6ad1a842940b66f210664980
Data license: CC BY 4.0 (portal directory, derived from Dateno); dataset metadata as each portal publishes it · Data source: Dateno, DataPortals.org, data.europa.eu, opendatArchives, and each portal's DCAT catalogue
This data as json
| portal_id | key | harvest_id | title | description | landing_page | publisher | licence | issued | modified | keywords | themes | uri | identifier |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| data.gouv.fr | https://www.data.gouv.fr/datasets/6ad1a842940b66f210664980 | 1 | robots.txt et sitemap.xml sur 1 000 sites publics locaux français (octobre 2026) | Relevé reproductible, mesuré le 16 octobre 2026, de la présence d'un fichier `robots.txt` et d'un `sitemap.xml` sur 1 000 sites web de collectivités et services publics locaux français. **Population** : l'annuaire officiel Service-public.gouv.fr, base de données locales (DILA, Licence Ouverte), version du 31 juillet 2026. **Échantillon** : 1 000 domaines tirés au hasard avec la graine fixe `20260802`, le même que les relevés publiés en août et les 14, 15 et 16 octobre 2026. **Méthode** : GET de `/robots.txt`, de `/sitemap.xml` et d'une adresse inexistante en contrôle (les domaines qui répondent 200 à tout sont écartés). Un robots.txt compte s'il est servi en 200 et n'est pas une page HTML ; un sitemap.xml s'il est réellement du XML de sitemap. Témoins : service-public.fr et cloudflare.com valides, example.com sans les deux fichiers. **Résultats** : 783 domaines concluants (138 sans réponse HTTPS, 79 répondent 200 à tout). **robots.txt valide : 651 (83,1 %)**, dont 409 (52,2 %) déclarent un sitemap. **sitemap.xml valide : 512 (65,4 %)**. Ni l'un ni l'autre : 110 (14,0 %). Blocage général (`User-agent: *` puis `Disallow: /`) : 4, relus à la main ; l'un n'autorise que les robots de Google, ce qui exclut Bing et les moteurs qu'il alimente. **Ce que ce n'est pas** : un audit de référencement ; un sitemap peut être déclaré ailleurs que dans robots.txt. Citer la date de mesure. Producteur : ZAX, référencement naturel et création de sites. Ce que coûte le référencement d'un site : https://z-ax.com/fr/blog/prix-referencement-naturel-2026/ | https://www.data.gouv.fr/datasets/robots-txt-et-sitemap-xml-sur-1-000-sites-publics-locaux-francais-octobre-2026 | Leroy Leroy | http://www.opendefinition.org/licenses/cc-by | 2026-10-16T04:29:54.229000 | 2026-10-16T04:29:55.679000 | ["collectivites", "referencement", "robots-txt", "service-public", "sitemap", "web"] | [] | https://www.data.gouv.fr/datasets/6ad1a842940b66f210664980 | 6ad1a842940b66f210664980 |