RSME comparing LIDAR data with a third party’s 3D dataset

2014/05/02

I would like to share with you an easy analysis i have been working in the last days. I had a vector dataset of buildings and i knew how high they were (there was a field called ‘AGL’ or Above Ground Level) and a LIDAR 2m resolution dataset over the city of London. My aim was comparing both sources, understanding LIDAR data was the actual reality (or a closer version to it) and my source of 3D buildings was the dataset i needed to deliver to my customer…  Te actual height of those 3D buildings had been extracted using stereo photogrammetry methods. I also needed to focus on residential data, so heights below 15m… So make it easy. The question was:

How accurate is my dataset of residential buildings over London?. Which is the RMSE measuring them both?

I used Global Mapper v.13.2 (b062012) and ArcGIS 10.0 (b3200)

This is the 2m resolution LIDAR data provided by geomatics-group.co.uk

LIDAR-01

I also needed to get a layer of points out of this dataset so i used Global Mapper and went to Files/Export elevation grid format and choose ASCII as the format.LIDAR-06

This is the layer of buildings and their AGL as label
LIDAR-02

I flagged those residential buildings
LIDAR-03

and using ArcGIS i performed a Spatial Analysis using Arctoolbox/Spatial analysis to join the Lidar heights in ASCII format and the residential heights… to be able to measure the difference between both datasets

this way i got a new vector layer which table contained both elevation fields (Lidar and my 3D buildings)
LIDAR-07

As you can see, i added a new field in ArcGis using table/add field and added ‘compare’ and SQL ["AGL"- "ELEVATION"]
LIDAR-04

then i measured it visually using a density grid in Global Mapper. Create density Grid.
LIDAR-05

And finally measured the RMSE by opening the table in excell format and usign the actual formula for extracting RSME values:

= SQRT(SUMSQ(M1:Mn)/COUNTA(M1:Mn)) —> Note this formula is only valid for this case. You’d need to update Mx values using yours:-)

LIDAR-07

Wow! a very high value. Does this value corresponds to our accuracy figures? Yes? No?.

Now it’s the time for decission makers to bring into action!

LIDAR-08

And what about some geostatistical analysis. I performed this using North East Trends in ArcGis. We can see from West to East there’s no variation  but we can see it increases the error the further the south…

LIDAR-09

So this is the area concentrating the higher differences comparing both datasets.

Hope you liked the analysis, if so…share!!!!

LIDAR-10

Alberto CONCEJAL
MSc GIS

 

Finally got my QCQA European certification

2014/05/01

Hi guys,

Just wanted to share with you I finally got my European certification in QCQA.

I struggled for two years to find some time for studying (It’s complicated when you have a full time job and you’re a father) but I finally made it.

certif

The most important project I have ever been involved in

2014/01/17

Having worked in a never ending list of proyects, I can say the one I have started these days is the most important I have ever worked in.
hannemanita

And it’s a long, long project… My whole life!

Analyse du Localisation des équipements publics relevant du thème ‘Sports, loisirs’ de Nantes Métropole

2013/12/12

La première chose a dire, comme toujours est: Désolé pour mon français, je fais mon mieux:-)

Aujourd’hui je voudrais faire l’analyse sur la localisation des équipements publics de la thématique ‘Sports, loisirs’ de Nantes Métropole.
http://data.paysdelaloire.fr/donnees/detail/localisation-des-equipements-publics-relevant-du-theme-sports-loisirs-de-nantes-metropole/

Les données donnent les coordonnées et la catégorie (centre sportif, circuit de plein air, stade, gymnase, espace sportif de proximité, piscine, plaine de jeux, tennis, autre équipement).
Ils sont où les équipements publics de la thématique ‘Sports, loisirs’ a Nantes ?. Est-ce qu’il y a un patron de localisation ?. Où est-ce qu’on peut trouver plus grandes concentrations ?. Si on parle de quelque endroit spécifique, il y a des équipements  ?. On va voir.

Voici l’structure des données, nom, type, statu, adresse, téléphone, etc.

equipamientos-publicos-sport-nantes-01

Voici on peut visualiser les données sur la couche de quartiers (c’était vraiment difficile de trouver chez data.paysdelaloire mais finalement ça va),
http://data.paysdelaloire.fr/donnees/

equipamientos-publicos-sport-nantes-02

Voici on peut remarquer où il y a des concentrations (on n’a pas fait distinctions qualitatives mais on pourrais le faire, selon l’statu privé ou publique, par exemple),

equipamientos-publicos-sport-nantes-03

equipamientos-publicos-sport-nantes-04

On peut montrer l’image. En ce cas ci je montre l’orthoimage 2005 (resolution 0.20m, precision 0,40m),

equipamientos-publicos-sport-nantes-05

Et finalement on remarque qu’il y a pas assez d’des équipements publics (sports, loisir) sur l’île de Nantes (j’habite ici, c’est pour ça que parfois  j’aime bien me concentrer ici),

equipamientos-publicos-sport-nantes-06

Bon, j’espère que vous trouvez ça intéressant et s’il vous plait, n’hésitez pas a me contacter pour résoudre des doutes.
Merci bien de me donner votre avis si vous le souhaitez.

Logiciel ArcGIS 10.0/ Spatial Analyst Tools

Alberto CONCEJAL
MSc GIS

PISA report SPAIN 2012 by Comunidades Autónomas Trends North-South and West-East

2013/12/10

I wanted to take advantage of the latest ‘advanced course on Statistical Analysis’ followed in the spanish IGN and show you how North-South and West-East trends impact on this report.
As you can see, the higher the values, the most likely to be in the North and the East of the country. This doesn’t mean we are not going to find high values in other CCAA, but this is the result of the trend.

What’s a Comunidad Autónoma? (the administrative level used for this report), You can read it here.

Let say for instance we want to focus on Reading Literacy. The highest values trend on being over the Northern and Eastern Comunidades Autonomas: Navarra, but we also find high values over La Rioja, Asturias, Euskadi or Aragón (they’re all in the North).

pisa-report-by-ccaa-20131210-02

The blue line shows how figures are increasing if we move to the North, likewise, if we look at the green line, higher values are in the eastern side of the Map.

pisa-report-by-ccaa-20131210

Also note how the lowest values fall over the Comunidades Autónomas located in the South and the West of Spain (I.e Andalucía and Extremadura).
It’s also important highlighting there are some outliers or regions with low values in the West (Murcia) or in the North but this is all about Trends!!! : -)

Source: WIKIPEDIA (http://es.wikipedia.org/wiki/Informe_PISA) and own elaboration
Software used: ArcGIS 10.0 /Geostatistical Analyst extension
20131220

geostatistical-analyst

I hope you guys find it interesting, please dont hesitate to ask if i can explain you any further.
Thank you for your time,

Alberto CONCEJAL
MSc GIS

Analyse des emplacements réservés à la livraison sur voirie: NANTES

2013/11/10

*Désole pour mon français, si vous voulez on peut parler en anglais ou espagnol.

La première chose qu’il faut faire c’est télécharger le jeu de données au site:
http://data.paysdelaloire.fr/donnees/
Thématique : Mobilité

Le jeu propose la géo-localisation des emplacements réservés à la livraison sur voirie dans un secteur limité de la ville de Nantes. Ces aires permettent l’enlèvement et la livraison de marchandises par les professionnels et facilitent le transport des marchandises en ville. 

L’idée c’est savoir s’il y a de concentration dans certains quartiers ou par contra on trouve un patron plus dispersé. Je vais commencer a visualiser les données y j’attends aussi la reponse de quelq’un au Forum avec le ‘shape’ des quartiers et pouvoir finir l’analyse.

J’ai utilisé le logiciel ArcGIS 10.0. C’est facile ajouter les couches, dans ce cas ci, les points où on trouve des emplacements réservés à la livraison sur voirie… on ajoute aussi les images aériennes 20 cm (tout telechargé au meme endroit). Mon hypothèse aussi pondére la taille des emplacements réservés à la livraison.livraison_trend02

L’average nearest neighbor analyse va m’aider a savoir si on travail avec des point dispersés ou par contra concentrés spécifiquement dans certain quartiers. Pour l’instant je ne peux faire que en general parce je n’ai pas encore trouvé la couche pour les quartiers… Donc on peut dire qu’on a un scenario de dispersion.

Analyzing patterns/average nearest neighbor
livraison_trend04

A travers d’un analyse de densité on peut visuellement voir si il y a un endroit avec des concentrations plus élevées.

Spatial analyst/density
livraison_trend03

A travers de l’auto-corrélation spatiale nous découvrons un niveaux de signifiance que nous fait douter du résultat de concentration précédent. Pour quoi ?. On vais voir après (j’espère).livraison_trend05
Et aussi nous pouvons voir qu’il n’y a pas de tendance Nord-Sud ou Est-Ouest dans le modèle de localisation.livraison_trend01

Alors ?. On continue bientôt.

Visualization will endure these difficult years of CRISIS!!

2013/10/10

I have already worked as a building cleaner, data capture operator, copywriter, photographer, graphic designer, video editor, technical salesman… and seriously, I think i’m too old to make a living in something else now…

GIS has been working for me the last 8 years and i want to stay like this!!!:-) I have just read in GISLOUNGE that Visualization is among a list of a few things which will endure these difficult years of CRISIS.

http://www.gislounge.com/opinion-future-gis/

(…) Visualization
Look at the Foursquare time machine for example. The classic cartography is being challenged to new methods.
The market wants more beautifully visualized maps. (…)

And if the market needs more beautifully visualized maps, Alberto will be there!!!!.

london_cooldata

Cheers!!!!

Alberto
MSc GIS
albertoconcejal (at) gmail.com

Cool data. What is this?

2013/09/16

cool-data

What is this ‘cool data‘ all about?. When i got my degree in Geography (about 15 years ago) it didn’t make sense at all being interested in something like graphic design, photography, video and all this stuff… but not only interested in my leisure time but also for taking advantage of it, getting a life out of it. When, after three years of working in a plane while taking aerial pictures i got fed up with anything related to Geography (and working 24/7) and started working as a website designer it started making a bit of sense… Only five years later, having worked as multimedia photographer, graphic designer and technical salesman everything got aligned and made all the sense in the world… i wanted to come back to Geography but taking advantage of all this years of doing something else…

It was time to resign and comeback to the university to get a MSc (In Remote Sensing and GIS)… leave everything behind and planning my working life again. After finishing my master’s degree (well, actually they were two!) i received a call from South Africa. Are you Alberto?. Hell yes, I am!. We have just received your CV and we are interested in offering you a job dealing with something (i didnt know about) called ‘Geovisualization’. Again, what is this all about?. Well, its dulcifying, easying up all complex information and offering it in a new way, a much easier way to understand it… This is what i call COOL DATA.

Let’s imagine there’s something our customer doesn’t really understand and its kind of difficult to describe using words… There’s always a way for making it easier. Using Graphic design tools or Video software to recreate a workflow or explain something complex… even adding some music, why not???.

cooldata01

Using Photoshop Macros and a few composition rules we can convert a tricky template in something we, our team and our customer will understand completely.  What about Global Mapper scripts for quick conversions between formats?.

cooldata02

What about including some statistics?

cooldata03

and Spatial analysis?.

cooldata04

And 3D?

cooldata05

Maybe some video?

Is this clear enough?. No?.
Let me explain it to you in English, French or Spanish.

Now, seriously, count on me in case of need of converting complex datasets into COOL DATA.
Please don’t hesitate to contact me.

Alberto Concejal
MSc GIS and Remote Sensing
albertoconcejal (at) gmail.com

Projets éoliens en Loire-Atlantique

2013/09/02

C’est vraiment magnifique l’ouverture des données publiques… Je vais décrire mon itinéraire pour mieux comprendre:

  1. Télécharger des données (Projets éoliens en Loire-Atlantique)
  2. Telecharger DTM (SRTM v4)
  3. Faire Carte d’ombrage (ArcGIS),
  4. Orientations (ArcGIS) et
  5. Inclinations (ArcGIS) pour mieux comprendre l’emplacement des moulins
  6. Faire Carte de densité (en mesurent la puissance du parc)

eolicpark_03

Et maintenant la carte de densité en Global Mapper…

eolicpark_02

Name=Chauvé

Feature Type=Unknown Point Feature
Geometry=Point location: 321341.949 6688237.734 (Lat/Lon: 47° 11′ 11.0775″ N, 2° 00′ 13.7962″ W)
Map Name=projets_eoliens.shp
NOM_PARC=Chauvé
ETAT_AVANC=Permis de construire accepté
NBR_EOL=6
PUISSANCE=12

Et après, avec tous les cartes et toutes les données, faire l’interprétation, voici toutes les moulins du vent en Loire Atlantique, on peut apprécier la concentration au Nord/Nord-Est de la région:

eolicpark_01

Et aussi la rose des vents (http://www.nantes-erdre.fr/statistiques-du-vent-a-nantes):

La rose des vents représentative du secteur d’étude est celle fournie par la station de Nantes-Bouguenais.

Les données ont été recueillies sur une période de 29 années (entre le 1er janvier 1971 et le 31 décembre 2000).

La rose des vents ci-après représente la distribution annuelle des vents (tous mois et toutes heures
confondues).

Les vents sont classés selon trois catégories :
- vents dont la vitesse est comprise entre 5 et 16 km/h (bleu),
- vents dont la vitesse est comprise entre 16 et 29 km/h (vert),
- vents dont la vitesse est supérieure à 29 km/h (orange).

Ces catégories sont ensuite reportées en terme de fréquence pour chacune des 18 directions de la rose des vents située au centre (nord, sud, est, ouest, etc.)

Les vents dominants sont les suivants :

- Les vents de secteur ouest/sud-ouest et sud (directions de 180 à 280°) qui représentent 36,5% des vents, toutes vitesses confondues. Les vents les plus forts de la station (vitesse supérieure à 29 km/h) soufflent majoritairement dans ces secteurs.

- Les vents de secteur nord-est (24,7% des vents) avec une majorité de vents faibles ou moyens (directions de 20 à 80°).

frequence-vent
statistiques-vent0

image

Idéalement il faut exporté raster->vector et faire l’analyses spatiale mais ça va être un outre post !

Ici, quelques liens et information général:

L’energie eolique. http://www.loire-atlantique.fr/jcms/cg1_244375/l-eolien

Documentation: http://data.paysdelaloire.fr/donnees/detail/localisation-des-projets-eoliens/?tx_icsoddatastore_pi1[page]=4&visualization=3

Éolien terrestre ou off-shore, ce mode de production électrique devrait connaître une accélération sans précédent en Loire-Atlantique d’ici à 2020.

L’éolien apparaît comme la principale source d’énergie renouvelable électrique permettant d’atteindre dans les toutes prochaines années un niveau important de production.

C’est pourquoi Le Département a fixé en juin 2010 un objectif ambitieux de puissance éolienne installée à l’horizon 2020 :

  • 600 mégawatts (MW) terrestres
  • 500 MW en mer.

Coverage map video over Bogotá, Colombia

2013/06/14

A few months ago i prepared some scenarios over the city of Bogotá. Hope you guys like it.


Follow

Get every new post delivered to your Inbox.