Blog sur les cartes de Pollution lumineuse d'Europe

[frédogoto]

Je vais vous tenir un petit journal de sur la fabrication des cartes de Pl de l'Europe
Pour les nouveaux lecteurs, je précise que je connais RIEN de RIEN aux systèmes SIG, c'est pour moi obscur et abscons.

C'est un drôle de travail que j’espère ultime, car croyez moi ce n’est pas une partie de de plaisir.
Tout a commencé vendredi soir dernier.
Ça faisait déjà quelques semaine que je spoolais le projet dans ma tête et que j'élaborais des plans et des process pour mener à bien la réalisation.
Après énormément de déboires et recherches, j'ai finalement arrêté mon choix sur le Corine data land cover Europe qui est une représentation graphique du taux d'artificialisation des sols en Europe.
Après avoir un peu cherché, j'ai trouvé celle-ci (notez qu'elle est représenté ici a 2% de leur taille réelle) :

Cette carte, une fois ouverte dans Photoshop, est un tif en couleur indexées sur 8 bits.
Personnellement je travaille en rvb 16/48 bits.
Cette simple opération de transformation a pris 20 minutes : 6 minutes pour passer en RVB et 14 pour passer en 16/48 bits.
D'ores et déjà, l'image toute simple pèse 12 Go !
Pour info et après mesure, au niveau de Paris, 1 pixel = 100 mètres.
La résolution de ces cartes est légèrement inférieure aux cartes nationales actuelles, mais absolument tout ce qui est présent sur ces dernières se retrouvera sur les cartes d' Europe : y'a pas de pertes d'infos.
Note importante, la Grèce n’est pas prise en compte, les cartes Corine ne comportent pas ce pays, je ne sais pas pourquoi (mais c'est super dommage).
Pour finir, le cadre cyan représente sans doute la taille d'exploitation finale des cartes : ce sera réduit afin d’alléger un peu le travail, le poids des images et pour d’autres raisons pragmatiques que nous verrons plus loin.

Pourquoi travailler en 48 bit et doubler les "ennuis" en doublant le poids de l'image ???
En fait, la pollution lumineuse est une sorte de dégradé qui part des zones d'émission vers les zones vide ou montagneuse.
Mais c'est un dégradé du blanc vers le noir.
Or, en 8 bits, nous disposons de 256 niveaux. La dynamique de la pollution lumineuse est très nettement supérieure à ces 256 niveaux et, une fois les mises en couleurs réalisées, des effets de" bande et de zonage" apparaissaient, qui outre le fait de n'être pas très esthétiques, étaient peu représentatifs de la réalité.
les effets de zonages...
en 8 bit

en 16 bit en revanche c'est lissé


J'ai ensuite cherché à importer dans ma carte les données altimétriques.
Ces cartes servent à deux chose, la plus importante étant le un rôle pondérateur de l'altimétrie dans la diffusion de la pollution lumineuse (plus on monte, moins la pollution lumineuse est prégnante).
Après avoir téléchargé, sur le site de la NASA, des dalles de la mission STRM (DEM, digital élévation model en GEO TIFF) et les avoir mosaïqués à la main, je me suis retrouvé avec un système de projection puissamment différent de mes cartes Corine...
ci dessous les DEM (retravaillé , "desartefactisé", niveau corrigé" ) on note l'anamorphose quasi totale avec le système de projection des cartes Corine...


Donc après les avoir importés sur un calque au dessus, j'ai progressivement déformé les DEM pour les faire correspondre à la carte Corine. Chaque action sur la poignée de déformation (fonction "warp" sous photoshop) provoquait une forte latence de Photoshop devant l’énormité des données à transformer.
Cela m'a pris la journée du dimanche tout entière pour arriver à un résultat... à peine passable. C’était ma méthode habituelle pour les cartes nationales, mais là, j'avoue que je galère fortement.
La mort dans l’âme, je sauvegarde mon travail mais décide de ne pas y revenir... Je repars de zéro.
J'ai entre temps entendu parler d'un plugin pour photoshop qui permet d'importer des données géographiques !
Je le télécharge sans conviction, la période d’essais étant de 15 jours.
Je dois donc apprendre ce truc et le mettre en pratique avec des cartes en moins de 15 jours !!!

De ce que j'ai compris de cet accessoire, il permet de géo-référencer des cartes et, en théorie, d'importer des cartes de nature différentes entres elles et de faire en sorte qu'elle se recoupent spatialement entre elles... Voila ce qu'il me faut mais hélas, ce n'est absolument pas documenté.
Il me faut 2 jour pour commence à comprendre le système avec la logique SIG que je n'ai absolument pas, et son domaine infernal de système de projection. Pour info, il existe des milliers de systèmes de projections différents.
Bref, je vais pas rentrer dans les détails, mais j'ai finalement réussi à importer les DEM sur les Corine avec une précision parfaite, ou quasiment.
Nous somme jeudi soir : je laisse le pc en l'état pour ne pas rouvrir l'image qui met trois plombe à s’ouvrir. Et là, Windows me joue un de ses tours pendables : , le système se met à jour pendant la nuit et redémarre sans même avoir pris le temps d’enregistrer l'image....... harrrrrrrrrrrrrrrrrrrrrrrrrggggggggggggggggggggggg
Tout à recommencer...
...ce que je fais.
Mais fort de mes tâtonnement précédent, ça va plus vite et plus juste.

Sur cet extrait, les pointillés rouges représentent le cadre ou les DEM interagissent sur la carte Corine.
Ils ne peuvent aller plus haut : la mission STRM qui a permis de les faire a été réalisée depuis la navette spatiale dont les performances ne permettent pas les orbites polaires.
1 carré = 1000 pixels.

Fin de cette première partie

[peppuccio]

C'est très intéressant.
Dommage que l'on ne puisse pas t'aider.
Si je comprend bien l'intérêt de la chose est d'éviter les zones intermédiaires entre les pays d’Europe que tu avais déjà fait.

[frédogoto]

ou d'une part, pour éviter "les effets de bord", et d'autre part, faire les pays que je n'avais pas fait jusqu'alors (italie, pays scandinaves, Irlande, europe centrale, balkans et les iles, corse sardaigne etc)
deplus toutes les échelles seront sur un pied d’égalité

[Axel]

Quel boulot... tu m'as donné, mon salaud !
Bref, tu est en plein rechute : cartes de pollu et orthographe...

[Axel]

Note importante, la Grèce n’est pas prise en compte, les cartes Corine ne comportent pas ce pays, je ne sais pas pourquoi (mais c'est super dommage).

Ça doit être un coup des Allemands : ils essayent de sortir la Grèce de l'Europe !

[frédogoto]

J’ai enregistré l’image tout a l’heure, au format géotiff , il a fallut un peut plus des 4 heure a mon pc pour faire l’enregistrement.
Je n’enregistre donc pas toutes les 5 minutes..
J’ai donc ensuite extrait de la carte Corine les informations des zones artificialisées
Tout simplement avec la baguette magique, j’ai sélectionné les différentes surfaces et en fonction de leur nature je leur ai calé un blanc plus ou moins puissant (sur la base d’ancienne calibration) c’est ce que j’appelle « la base »
[illustration a venir]
Une fois ceci fait commence la phase de convolution : c’est l’opération qui consiste à transformer les zones artificialisé aux contours net et précis en pollution lumineuse, sorte de halo diffus
Habituellement je procède comme suis : je copie sur 7 calques différents ma « base »
Puis sur le calque 1 j’applique un flou gaussien de 250pixel, trois fois de suite.
Sur le calque 2, flou gaussien de 250pixels
Sur le calque 3, flou gaussien de 125pixels
Sur le calque 4, flou gaussien de 90pixels
Sur le calque 5, flou gaussien de 45pixels
Sur le calque 6, flou gaussien de 22pixels
Sur le calque 7, flou gaussien de 11pixels
Sur le calque 8, flou gaussien de 3pixels
[illustration]
L’image étant tellement titanesque que j’ai eu l’idée de faire une première fois l’opération sur une petite zone sélectionnée en enregistrant dans un script les opérations que j’effectuais
Une fois le script effectué je l’applique a l’ensemble de l’image
J’ai lancé l’opération a 17h40, il est 3h00 du matin et le calcul n’est toujours pas fini. La ou je suis plus inquiet c’est que le pc semble ne plus rien faire du tout….

[frédogoto]

bon ça a planté... 11 heure de perdues....

[frédogoto]

pire l’enregistrement que j'ai fait de la dernière version est inexploitable (erreurs a l'ouverture) il faut repartir de zéro... pour la 4e fois...

[frédogoto]

donc vers 5h j'ai relancé le processus d'importation des DEM dans le corine, il vient de se terminer à l'instant
par precaution j'ai d'entré de jeux réduit la taille de l'image par recadrage, cela diminue son poids de presque la moitié
tans pis pour les îles espagnole de l'atlantique, tant pis pour la Turquie l’Islande et la petite moitié nord de la Scandinavie, de toute façon mes fichiers altimétriques ne couvrant pas ces zones, les infos finales auraient été sujettes à caution

[frédogoto]

je viens de terminer la nouvelle extraction de la "base" de la PL.
les cartes étant plus petites, je dois reconnaître que le travail avance très sensiblement plus vite
en aparté, je vais parler des aéroport (je suis entrain d’enregistrer mon travail j'ai donc une heure ou deux devant moi)
sur les cartes Corine, les aéroports commues les aérodrome sont indistinct, hors du point de vue des carte de pollution lumineuse, il est évident qu'un aérodrome de campagne n'impacte pas la nature avec de la pollution lumineuse de la même façons que les aéroport, même toute proportion de surfacé gardée
comme distinguer les deux ?

arggggggggggggggggg photoshop vien de planter pdt l'enregistrement (((((((((((( - + * - + * oufffff, le fichier c'est bien enregistré et j'ai put tout recupuerer

les Aéroports se distingues des aérodromes par leurs tailles
de ce constats simple j'ai faite une sélection de toutes les surfaces aéroportuaire
je les aient copiées sur un calque distinct. sur se claque j'ai récupéré par sélection les contours des surfaces, puis j'ai contracté la sélection
de 15 pixels

du coup seul le "coeur" des aéroport est sélectionné, mais les aérodromes petit eux se retrouve sans aucun pixel sélectionné !
le reste est simple : je n'ai plus qu'a étendre de nous veau la sélection, les grand aéroport restent seul a être sélectionné, puis inverser la sélection pour en effacer le contenu : les petits aérodromes disparaissent du radar

bon la je réa-taque la convolution des calques

[Philippe]

Effectivement, un gros boulot qui demande des ressources "hardware"

[frédogoto]

oui, faudrait 64 Go de ram et 4 disque dur SSD en raid pour swapper pour avoir un début de débit "agréable"

L’altimétrie
c'est l'une des caractéristiques originales des cartes de PL Avex
en effet les DEM importés vont me servir à deux choses :
la première, une fois ombrés et mis en relief , cela me permet de créer un beau fond de carte, qui outre le coté esthétique, donne des repères connus au utilisateurs, cour d'eau, lac, montagnes, bassins, autant d’éléments géographiques naturels qui servent de repères, en outre, cela permet d'expliquer par exemple, pourquoi il existe des villes qui émettent de la pollution lumineuse longiforme : il s'agit des vallée Alpines ou les montagnes, véritables muraille, font obstacle à une partie non négligeable à la lumière artificielle sur les cotés mais pas dans le sens de la vallée

leurs autre utilités c'est qu'en ajoutant la couche de DEM au calques de pollution lumineuse, par les jeux des transparences et des méthodes d'incrustation, on renforce la pollution lumineuse en plaine ou au contraire, on la pondère avec l'altitude, renforçant grandement leur précision et leur intérêt 'stratégique'

[frédogoto]

C'est la partie que je préfère dans l’élaborations des cartes de pollution lumineuse : c’est un peut comme l'assemblage d'un cru, : un melange d'art, de savoir faire et d'instinct.

cliquez sur les vignettes pour agrandir

Sur cette image nous pouvons voir le FICHER dem
vous pouvez constater dans la partie droite de l'image, dans l'onglet calque, que le fichier dem est présent deux fois.
l'un va servir de base coloré en fonction de l'altimétrie, l'autre de base pour les ombre en relief


sur cette vue on voit la courbe de transfert de dégradé être appliqué en fonction de la valeur des niveau de gris
on cherche a avoir un rendu relativement naturel tout en gardant a l'esprit que ce rendu ne doit pas écraser l'informations des couleurs de la pollution lumineuse, ceci c’est juste pour faire jolie, aider au repérage mais ne doit pas entraver les codes couleurs de la pollution lumineuse


la mise en relief
sur cette double vue on voir l'effet de la mise en relief par ombrage
avant :


après :

en fait le niveau de gris son interprété comme des sommets si ils sont blanc et les noir comme des creux
sur cette vue on voi juste les info d'ombrage ou au contraire, d'illumination.


suis l'incrustation du claque d'info des relief sur le calque de transfert de dégradé

si desous , une vue avec un transfer de degardé plus sombre


ici on peut voir la Pollution lumineuse et le info de relief, a l’état brute.
sur les régions motagneuse ça va , en revanche en pleine c'est a peine perceptible (sur la full on voir le relief sur le cote normande)

de même que sur les regison a faible pollution (bleu dominant) la couleur de la polut (bleu et cyan) écrases les info de relief

puis a force de talonnement et multiplication des calque de relief et dosage de la force et du mode d'incrustation, on arrive a un résultat acceptable, ou les infos de relief sont omniprésente sans trop interférer sur les couleurs de la PL

[frédogoto]

donc ci dessous la palette des calques du documents

si vous avez des questions...

[frédogoto]

enfin j'ai fait un travail de calibrage européen, certains pays eclairant plus que d'autres pour une population donnée.
les pays du sud, culturellement, appuie un peu trop sur l’éclairage
ci dessous au gauche les carte Google earth nocturne a droite les carte de PL , je crois être arrivé a une bonne correspondance
cliquez pour agrandir

si dessous une vue "avant apres" les retouches par pays

enfin une vue "sodium"

prochaine étape, intégrer un peu de toponymie, de routes

[Axel]

C'est beau tout ça. La version sodium laisse une impression... magmatique.

[frédogoto]

c'est vrai, mais j'invente rien => http://player.vimeo.com/video/45878034 (->1m30 et surtout ->3m07) même si la première fois que j'ai eu l'idée de faire les carte sodium je n'avait jamais vu la terre de nuit vue depuis l'espace, comme quoi la simulation recoupe parfois la réalité

[Axel]

Quand je parlais d'impression magmatique, je trouvais que le rendu me faisait penser à ça :

...les zones montagneuses de tes cartes évoquant fortement les couches noire solidifiées, entourées de roches jaunes encore en fusion.

[frédogoto]

la je suis en ce moment entrain d'enregistrer les différentes version des cartes de pollution lumineuse
ça prend un temps monstrueux à chaque enregistrement et j'ai 6 version a faire minimum et ceci , avant l’intégration de la toponymie, probablement dans une programme SIG externe
1. carte de pollution lumineuse, en fausse couleur avec relief pour une consultation "stand alone" (pdf ou zommify )
2. carte de pollution lumineuse, en fausse couleur sans relief visible (mais pris en compte dans les cartes) pour une consultation google earth
3. carte de pollution lumineuse, sodium avec relief pour une consultation "stand alone" (pdf ou zommify )
4. carte de pollution lumineuse, sodium sans relief visible (mais pris en compte dans les cartes) pour une consultation google earth
5. carte de pollution lumineuse, astrophoto avec relief pour une consultation "stand alone" (pdf ou zommify )
4. carte de pollution lumineuse, astrophoto sans relief visible (mais pris en compte dans les cartes) pour une consultation google earth

chaque enregistrement ce fait en deux partie par Photoshop : une partie "préparation de l’enregistrement" (qui fait un aplatissement des calques) et une fois fait (durée environ 3/4 heure) puis il pose a question des option du format, puis l’enregistrement proprement dit qui dure environ 1/2 heure
comme j'attend pas comme un âne devant mon pc patiemment que chaque opération se finisse,je vaque a mes occupation entre deux (aller travailler, dormir, manger etc) j'aime mieux vous dire que cette opération est fastidieuse

se pose à moi un problème ennuyeux : la taille des fichiers
pour des raisons techniques je suis obligé d’enregistrer mes carte aplaties en 16bit, ce n'est pas un problème absolu puisque je compte de toute façon les passer en 8bit plus tard, ce qui diminueras de moitié leur taille, mais pour le moment ils fond pas loin de 25 go / unités, et il y a un algo de compression lzw !!!
donc même si on divise par deux le poids des cartes, on est sur du 12 go unitaire.
il faut pondérer ces chiffes : la compression lwz est nettement plus efficace en 8bit qu'en 16bit de plus, certaines cartes comme les cartes enregistrées "sans relief", contiennent bcp moins d'info, la compression sera plus efficiente
au final je dirais que je vais me retrouver avec des carte dont le poid oscille entre 8 et 4 go... il n’empêche que c'est considérable
je voulais faire des versions "brume" et "coronal" mais je crois que ces versions attendrons un peu

[frédogoto]

... ce matin, alors que la sauvegarde de la carte de PL version astrophoto était en cours, panne de courant dans la maisonnée.
en cause le grille pain (((
a peut près 4 heure de perdue...
fait СH|€Я

[Axel]

Andouille : il ne faut jamais essayer de tripoter une tartine coincée avec un couteau, car si on touche les résistance, ça fait un court-jus et tu fais sauter le disjoncteur !

Sache qu'une tartine blessée, ça peut être vachement dangereux : ça défend chèrement sa peau !

[frédogoto]

non ce n'est pas ce qui s'est passé : c'est la grille mobile qui sert de support aux tartines qui c'est désaxé et à effectivement touché les renaissances => court jus

[Axel]

Ça t'apprendra à pas aller chercher du pain frais tous les matins !
En plus, je suis sûr que MCD apprécierait.

[frédogoto]

sauf que moi le pain frais , il n'est pas exactement a coté.... mais dans le village voisin a 5km de la...
en outre comme je me lève largement après Marie-Claude, ce serai donc à elle d'aller chercher le pain... je te laisse lui annoncer la nouvelle

[frédogoto]

la je vien de finir mes exportations
en moyene les fichier font 10 go compression comprise
maintenant je cherche a importer mes carte dans des logiciel de gestion SIG, pour les routes et la toponymie. je le dis : je galere

[frédogoto]

après quelques tâtonnement , j'ai décidé d'utiliser QGIS, un logiciel d’édition cartographique, limité dans ses fonctionnalité, mais complètement gratuit
j'ai importé mes images en bigtiff dans le logiciel malheureusement, se format ne conserve pas le référencement; en outre il n'est pas compatible 16bit.
il a donc fallut que je ré-ouvre toutes mes images (arggghhhhh) , les passent en 8bit, y a joute un petit index de géoréférencement puis les ré-enregistrer en geotiff (variante du tiff)
la, enfin dans le logiciel cela se présente bien.
j'ai importé une de mes carte et ai trouvé une espèce d'index des villes de plus de 1000 habitants...
mais comment dire, c'est un peut chargé par endroit, en outre les caractères accentués de sont pas pris en charge ... harrggggg

[aries51]

Salut Fredo
Je vois que tu t'amuses bien (!). Moi qui perd déjà patience quand je télécharge un fichier qui dure 1 heure...Alors là ! Y a de quoi devenir fou.
Je pense que c'est parce que tu es passionné par cette histoire de PL que tu tiens le coup.
En tout cas, chapeau, j'espère que ceux qui utiliseront ton travail, une fois achevé, sauront l'apprécier à sa juste valeur!
aries51

[frédogoto]

m'amuser ce n'est pas exactement le cas, en revanche je pense que ces cartes vont aider les astrams européens, va aider avec a se faire connaitre partout en Europe.

[frédogoto]

ce soir, j'ai réussi a gerer les soucis des des accents et lettre genre "ç"
reste a trouver comme définir la quantité d'info a afficher

[frédogoto]

en revanche je ne parviens toujours pas a gérer la quantité d'infos a afficher