Exemples de fichiers XML

Contenus web

Vous vous rappelez l'encart de texte au sujet du Massif des Écrins, accompagnant la carte que nous avons générée plus haut ? En dur dans le code, nous l'avons volontairement mis de côté au moment de générer nos cartes en série. En effet afficher toujours le même texte dans nos 341 cartes n'avait pas d'intérêt.

Et bien nous allons maintenant enrichir nos cartes avec des contenus dynamiques, en lien avec les données cartographiées, qui iront remplir cet encart de texte. Et nous irons chercher ces contenus sur le web.

Plusieurs méthodes existent, APIs et web-scraping notamment, souvent avec l'utilisation de fichier JSON ou XML.

Il nous faudra donc faire un lien avec nos données, et ce de façon dynamique bien sûr.

Dans ce chapitre, nous ferons nos tests directement depuis la console Windows, ouvrez donc la console Python dans l'interface de commande Windows (CMD + python).

OSM

Exemple de lien vers le fichier XML de la base de données OSM, suffixé par l'id OSM (que justement, nous possèdons pour tous nos sommets) :

• https://www.openstreetmap.org/api/0.6/node/582066938

import requests
 
MyOsmId = '582066938'
r = requests.get("https://www.openstreetmap.org/api/0.6/node/"+MyOsmId)
 
print(r.text)

Notez l'importation nécessaire du module en haut de fichier.

Clé-valeur

Nos sommets n'ont pas de donnée attributaire sur leur altitude. Mais il semble que les XML d'OSM la connaissent ! En effet le fichier contient un tableau associatif avec un ensemble de clé-valeur dont ele (elevation en anglais).

Nous allons parser le fichier XML afin de récupérer l'altitude dans une jolie variable.

Parsing

Grâce à une condition if, nous allons récupérer l'altitude, à condition que le fichier XLM contienne le tag ele, sinon nous n'affichons rien.

import requests
import xml.etree.ElementTree
 
MyOsmId = '582066938'
r = requests.get("https://www.openstreetmap.org/api/0.6/node/"+MyOsmId)
root = xml.etree.ElementTree.fromstring(r.content)
 
for child in root.iter('tag'):
    if child.attrib['k'] == 'ele':
        print (child.attrib['v']+" mètres")

Nous sommes donc capable de récupérer l'altitude, bien, maintenant utilisons-là dans le titre de nos cartes générées :

import datetime
import requests
import xml.etree.ElementTree
 
mylayer = QgsProject.instance().mapLayersByName("peaks")[0]
...
for feat in mylayer.getFeatures():
...
    # Récupérer altitude sur API OSM
    r = requests.get("https://www.openstreetmap.org/api/0.6/node/"+id_peak)
    root = xml.etree.ElementTree.fromstring(r.content)
 
    for child in root.iter('tag'):
        if child.attrib['k'] == 'ele':
            altitude = ", "+child.attrib['v']+" mètres"
 
    # Titre
    title = QgsLayoutItemLabel(layout)
    title.setText(layoutName+altitude)
    title.setFont(QFont("Verdana", 28))
    title.adjustSizeToText()
    layout.addLayoutItem(title)
    title.attemptMove(QgsLayoutPoint(5, 4, QgsUnitTypes.LayoutMillimeters))
...

Précédé d'une virgule, notre variable altitude n'a plus qu'à aller se concaténer à la suite de notre variable layoutName dans le titre de nos cartes. Ainsi les enregistrements pour lesquels nous ne connaissons pas l'atitude n'afficheront pas de caractère inopportun à la suite du titre.

• Note personnelle : on pourrait aller plus loin en ajoutant dans les sources des cartes le nom du contributeur OSM ayant saisi ou modifié l'entité sommitale cible.

Encodage

Il serait bon d'encoder notre caractère spécial è dans le mot mètres, car ici il est affiché en tant que pure chaîne, et dans certains cas spéciaux nous pourrions avoir de mauvaises suprises.

(Attention au &)

import html
...
            altitude = ", "+child.attrib['v']+html.unescape(" mètres")
...

• Note personnelle : faire aussi l'encodage du fichier lui-même, et parler de l'encodage des fichiers Python.

Wikidata

Certains sommets possèdent un id Wikidata (dans le champ OTHER_TAGS). Exemple de lien vers donnée Wikidata, suffixé par un id Wikidata :

• https://osm.wikidata.link/Q726652
• https://www.wikidata.org/wiki/Q726652
  
• https://www.wikidata.org/wiki/Special:EntityData/Q1617977.json

Pour tester, allez chercher le contenu d'une page page HTML d'osm.wikidata.link :

import requests
r = requests.get("https://osm.wikidata.link/Q726652")
print(r.text)

Un peu lent mais bien fourni. Les page wikidata.org se prêtent tout de même mieux au web-scraping (les contenus y sont mieux organisés, à l'intérieur de jolies balises).

Récupérer des données Wikidata

Les contenus y sont si bien organisé que nous allons pouvoir récupérer le lien vers la page Wikipédia du sommet, et même cibler celle en français.

Dans la console Python de Windows :

import requests
from requests_html import *
 
session = HTMLSession()
 
MyWikiId = 'Q726652'
r = session.get("https://www.wikidata.org/wiki/"+MyWikiId)
 
my_content = r.html.find('.wikibase-sitelinkview-link-frwiki a', first=True)
#print(my_content)
 
my_link = my_content.xpath('//a/@href')
print(my_link)

 Nous nettoyons ensuite le lien pour le rendre utilisable par le module requests :

import requests
from requests_html import *
 
session = HTMLSession()
 
MyWikiId = 'Q726652'
r = session.get("https://www.wikidata.org/wiki/"+MyWikiId)
my_content = r.html.find('.wikibase-sitelinkview-link-frwiki a', first=True)
 
#print(my_content)
my_link = my_content.xpath('//a/@href')
 
#print(my_link)
 
my_link_string = str(my_link).replace('[', "").replace(']', "").replace("'", "")
print(my_link_string)
 
r2 = session.get(my_link_string)
 
print(r2.text)

Mais c'est finalement les pages Wikipédia dont les contenus ne sont plus suffisament bien organisés... Ce serait sans doute tout de même possible en multipliant les conditions, mais pas très efficace.

Liens ou pièces jointes

chemin_de_fer.zip	[ ]	0 Ko
data_BDTOPO_V3_Dep05_adresse.zip	[ ]	3889 Ko
data_IRIS_2019.zip	[ ]	45905 Ko
decathlon_france.zip	[308 magasins Décathlon français depuis OSM le 27 décembre 2020]	11 Ko
eau.zip	[ ]	0 Ko
glaciers.zip	[ ]	231 Ko
iso_iris.zip	[Des zones isochrones à 15 minutes autour de 308 POIs.]	12125 Ko
Koln gml.zip	[ ]	2818 Ko
peaks.zip	[ ]	14 Ko
peaks_selection.zip	[ ]	1 Ko
simple_countries.zip	[ ]	1880 Ko
sol.zip	[ ]	0 Ko
troncons_routes.zip	[ ]	0 Ko
World Stats	[ ]	27 Ko