Diskussion:GeoConverter: Unterschied zwischen den Versionen

Aus Geometa Lab OST
Zur Navigation springen Zur Suche springen
Keine Bearbeitungszusammenfassung
 
(73 dazwischenliegende Versionen von 6 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
== Projektmanagement ==
== GeoConverter 2013 (Python) ==


=== ToDos ===
  http://152.96.80.48/
* MapInfo Interchange Format anstelle Mapinfo File.
 
* .tar.gz verarbeiten?
=== Ideen ===
 
* Zusatz-Option 'Angabe Ausschnitt' (BBox-Feld: minX, minY, maxX, maxY)
* Auflistung der EPSG Nummern mit Suchfunktion (analog zu ogr2gui)
* Fehlermeldungen von ogr2ogr "interpretieren", um dem Benutzer gezieltere Rückmeldungen zu geben
* Besseres Handling von Dateien mit Nicht-ASCII-Zeichen (z.B. diese Zeichen vorher herausschneiden)
 
=== Beispieldaten ===
 
==== Beispieldaten 1 ====
 
[[Media:Beispieldaten1_filematching.zip]]
 
Eingabe:
  pois.dbf
  pois.gml
  pois.mid
  pois.mif
  pois.shp
  pois.shx
  pois.xsd
Ausgabe bei der Konvertierung zu KML:
  pois.kml
  pois_2.kml
  pois_3.kml
 
Erklärung:
 
Der GeoConverter gruppiert als erstes die zusammengehörenden Dateien.
  shp, dbf, shx: ESRI Shapefile
  gml, xsd: Geography Markup Language (GML)
  mid, mif: MapInfo Interchange Format (MIF/MID)
Da es zu einem Namenskonflikt kommen würde (3x pois.kml), bekommen die Dateien von zwei der drei Gruppen einen anderen Namen. Danach werden die Dateien mit OGR konvertiert.
 
==== Beispieldaten 2 ====
 
[[Media:Beispieldaten2_directory_structure.zip]]
 
Eingabe:
  category1
    |--pois1
        |--pois.dbf
        |--pois.shp
        |--pois.shx
    |--pois2
        |--pois.mid
        |--pois.mif
        |--pois.gml
        |--pois.xsd
  category2
    |--pois1
        |--pois.gml
        |--pois.xsd
  pois.sqlite
Ausgabe bei der Konvertierung zu KML:
  category1
    |--pois1
        |--pois.kml
    |--pois2
        |--pois.kml
        |--pois_2.kml
  category2
    |--pois1
        |--pois.kml
  pois.kml
 
Erklärung:
Der GeoConverter wandert durch alle Verzeichnisse und versucht, die gefundenen Dateien zu konvertieren.
 
==== Beispieldaten 3 ====
 
[[Media:Beispieldaten3_nested_archives.zip]]
 
Eingabe:
  1.zip
    |--2.tar
        |--3.zip
              |--pois.sqlite
Ausgabe bei der Konvertierung zu KML:
  1
    |--2
        |--pois.kml
 
Erklärung:
Der GeoConverter kann verschachtelte Zip- und Tar-Archive entpacken. 3.zip innerhalb von 2.tar wird von der Tar-Entpackfunktion von Python direkt entpackt, darum wird kein Ordner "3" erzeugt. Die erlaubte Tiefe von verschachtelten Archiven ist beschränkt.
 
==== Beispieldaten 4 ====
 
WFS (Input):
* OpenPOIMap (alles EPSG:4326, [http://openpoimap.ch:80/featureserver/workspace.cgi?key=DfuzRmPWrxFWvsujSVsgZj&SERVICE=WFS&VERSION=1.0.0&REQUEST=GetCapabilities GetCapabilities]):
** (Hospitals/Spitäler der Schweiz): http://openpoimap.ch:80/featureserver/workspace.cgi?key=DfuzRmPWrxFWvsujSVsgZj
* WFS Server Kt.ZH (alles im EPSG:21781, [http://maps.zh.ch/wfs/FnsNSWFS?SERVICE=WFS&VERSION=1.0.0&REQUEST=GetCapabilities GetCapabilities]):
** FnsNSWFS (alle Featureklassen): Basis-URL: http://maps.zh.ch/wfs/FnsNSWFS,
** FnsNSWFS (nur 'nso_2011_kantonal_p', Punkte): http://maps.zh.ch/wfs/FnsNSWFS?TYPENAME=nso_2011_kantonal_p
** FnsNSWFS (nur 'svo_zonen', Polygone): http://maps.zh.ch/wfs/FnsNSWFS?TYPENAME=svo_zonen
 
== Release 2008 ==
 
Code auf https://cvsi.hsr.ch/svn/geoconverter
 
=== Task List (abgeschlossen) ===
 
1. Prio.
* Neue Version u.a. mit (Geo)RSS, CSV-out mit Geometrie einspielen
 
Aktuell?
* Übergabe der URL für s_srs und t_srs
* GML-zu-Shapefile generiert nur 'rapperswil.shp' (LineString) und 'node.shp (Point): Warum? => OSM-Reader-XSL anpassen:
** Bei nodes auch name-Attribut exportieren.
** Im Falle von geschlossenen ways (= Polygone) soll anstelle 'osm:way' neu 'osm:area' stehen:
  <gml:featureMember>
  <osm:area fid="4304746">
  ...
  </osm:area>
  </gml:featureMember>
* GML-zu-GPX gibt ein leeres GPX, falls das GML von OSM kommt.
:: mit "% ogr2ogr -skipfailures -nlt linestring -f GPX test.gpx rapperswil3.gml" hat etwas funktioniert. --[[Benutzer:Stefan|Stefan]] 12:52, 10. Jul. 2008 (CEST)
* Wenn bei Shapefile-Quellformat eine Metadaten-XML-Datei dabei ist (z.B. Bahnhoefe.shp.xml), dann funktioniert's nicht.
* Möglichkeit, gleich nach "...succeeded" und v.a. nach "...failed" eine Mitteilung abzuschicken (intern per Mail). Dabei ev. eine 'Job-Nr.' mitgeben und diese auch ins Log schreiben. So kann man die Parameter nachvollziehen (ev. auch die Dateien??).


=== Bugs und kleinere Verbesserungen ===
=== Bugs und kleinere Verbesserungen ===
* Wenn bei Shapefile-Quellformat eine Metadaten-XML-Datei dabei ist (z.B. Bahnhoefe.shp.xml), dann funktioniert's nicht.
Verbesserungen:
* Sinnvolle Angaben im Log-File.
* XML-Dateien (KML und GML?) upload mit DOS/ASCII ergibt "not successful", wenn Umlaute enthalten sind. => analysieren und ggf. Datei ad-hoc zu ANSI oder UTF-8 konvertieren.
* Hilfe angeben (ERROR message): Source SRS missing. Conversion always includes a source and a target SRS given.
* Mehr Angaben im Log-File im Fehlerfall.
* Hintergrund grau statt schwarz => freundlicher?
* Zusätzliches (vorhandenes) Format: "MapInfo Interchange Format (.tab)"
* Neue CSV-out-Option "-lco GEOMETRY=AS_XY"
 
Bugs:
* Ev. Problem mit der Wiki-Authentisierung wenn Space im Namen?: Siehe [[Benutzer_Diskussion:Stefan]] --[[Benutzer:Stefan|Stefan]] 09:13, 8. Jul. 2008 (CEST)
* Erstaunlich, dass das funktioniert: => Testen warum
** => Nur .dbf? 19.03.2008 19:51  klmcmahan 168.236.43.132  conversion successful .dbf  .mif  L_COMM_INFO.dbf 1598
** => "e00"? 01.04.2008 18:53  natal 158.125.70.104  conversion succeeded  .e00  .csv  n/a n/a dividing_area.e00 134147
 
Formate ab OGR 1.10:
* [[OSM]]-Reader für .OSM/.PBF-Dateien
* Geospatial PDF-Reader und -Writer
 
Formate ff.
* Interlis 1.1


=== Erweiterungsideen ===
=== Grössere Erweiterungsideen ===
* Ausbau nach AJAX zum Prüfen der Parameter (z.B. s_srs und t_srs)
* .tar.gz verarbeiten?
* Zusatz-Option 'Angabe Ausschnitt' (BBox-Feld: minX, minY, maxX, maxY)
* Zusatz-Option 'Angabe Ausschnitt' (BBox-Feld: minX, minY, maxX, maxY)
* Verwendeter OGR2OGR-Aufruf in eine Batch-Datei mit-verpacken (mit Dateinamen ohne Pfad).
* Verwendeter OGR2OGR-Aufruf in eine Batch-Datei mit-verpacken (mit Dateinamen ohne Pfad).
* Neues Zielformat 'Statistics (.txt)'. Ruft intern "ogrinfo <options> <inputfile_directory>" auf und gibt eine Textdatei aus.
* Neues Zielformat 'Statistics (.txt)'. Ruft intern "ogrinfo <options> <inputfile_directory>" auf und gibt eine Textdatei aus.
* Formate:
* Anzeige einer Statistik mit Konvertierungen.
** DGN-Reader und DGN-Writer dazufügen/aktivieren
** Beispiel in Worten zur Statistik des Geoconverters: Seit 1. Juli 2008 bis heute (1.1.2009)- also sechs Monate oder 180 Tage - sind 859 Benutzer auf geoconverter angemeldet, davon waren 266 aktiv mit durchschnittlich zwölf Konvertierungen pro Tag (total ein halbes Tera-Byte), die Hälfte davon KML-to-SHP.
** [[OSM]]-Reader implementieren (mit Hilfe xslt/Java-Aufruf, der GML erzeugt, das dann weiterverarbeitet werden kann)
** Ergänzen der Converter-Checklist durch dasselbe Zielformat wie das Quellformat.
** (DXF Reader/Writer fehlt leider in OGR)
 
Anzeige einer Statistik mit Konvertierungen.
   Statistics (2007-01-13, 55 Datasets)
   Statistics (2007-01-13, 55 Datasets)
   Top 10 Source Formats Sum Succ.  Top 10 Target Formats Sum Succ.
   Top 10 Source Formats Sum Succ.  Top 10 Target Formats Sum Succ.
Zeile 27: Zeile 160:


== History ==
== History ==
* .kmz verarbeiten (KML mit Zip komprimiert). Sollte einfach mit (un-)zip weiterverarbeitbar sein (die Haupt-Datei drin hat dann oft denselben Namen 'google.kml' - aber nicht immer). -> DONE, 25.06.08
* Logfile: mit ERROR-Code und ohne LF/CR -> DONE, 25.06.08
* Redesign des Programmcodes -> DONE, 20.06.08
* Upload und konvertieren von OSM-Dateien -> DONE, 20.06.08
* Ergänzen der target file format-Auswahlliste mit allen notwendigen Dateien (z.B. ".shp, .shx, .dbf"). -> DONE, 08.04.08
* CRS anstelle SRS -> DONE, 08.04.08
* Anfang des log.txt löschen bis zum Punkt, wo CRS geloggt werden und Delimiter auf ";" stellen -> DONE, 08.04.08
* "MapInfo Interchange Format" anstelle "Mapinfo File". -> DONE, 08.04.08
* Rechtschreibefehler korrigieren (Refrence -> Reference) -> DONE, 28.03.08
* Rechtschreibefehler korrigieren (Refrence -> Reference) -> DONE, 28.03.08
* SRS loggen -> DONE, 28.03.08
* SRS loggen -> DONE, 28.03.08
Zeile 38: Zeile 179:


Please put your feature requests, bug reports and suggestions here.
Please put your feature requests, bug reports and suggestions here.
Beim Konvertieren von shp-Daten für OpenStreetMap sind Daten entstanden, die um etwa 200m verschoben dargestellt werden. Was kann der Grund dafür sein? -- Miple, 10:31, 31. Mär. 2010 (UTC)
:Lieber Miple, da müsste ich mehr Details (oder am besten gleich ein Datenausschnitt) haben: Von Shape nach GPX? Welche Gegend? --[[Benutzer:Stefan|Stefan]] 18:36, 31. Mär. 2010 (UTC)
::Es handelt sich bei den Shape-Daten um die Stadtgrenzen von Delmenhorst in Norddeutschland. --[[Benutzer:Miple|Miple]] 09:34, 1. Apr. 2010 (UTC)
Wie gehts?  I want to add GeoConvert by Charles Karney into shapelib by Frank Warmerdam.
Specifically, I want shapelib to convert utm into lat,lon.
Sorry if I am on the wrong page.
I can help do that if its allowed.
-cellurl

Aktuelle Version vom 8. Januar 2014, 14:58 Uhr

GeoConverter 2013 (Python)

 http://152.96.80.48/

Ideen

  • Zusatz-Option 'Angabe Ausschnitt' (BBox-Feld: minX, minY, maxX, maxY)
  • Auflistung der EPSG Nummern mit Suchfunktion (analog zu ogr2gui)
  • Fehlermeldungen von ogr2ogr "interpretieren", um dem Benutzer gezieltere Rückmeldungen zu geben
  • Besseres Handling von Dateien mit Nicht-ASCII-Zeichen (z.B. diese Zeichen vorher herausschneiden)

Beispieldaten

Beispieldaten 1

Media:Beispieldaten1_filematching.zip

Eingabe:

 pois.dbf
 pois.gml
 pois.mid
 pois.mif
 pois.shp
 pois.shx
 pois.xsd

Ausgabe bei der Konvertierung zu KML:

 pois.kml
 pois_2.kml
 pois_3.kml

Erklärung:

Der GeoConverter gruppiert als erstes die zusammengehörenden Dateien.

 shp, dbf, shx: ESRI Shapefile
 gml, xsd: Geography Markup Language (GML)
 mid, mif: MapInfo Interchange Format (MIF/MID)

Da es zu einem Namenskonflikt kommen würde (3x pois.kml), bekommen die Dateien von zwei der drei Gruppen einen anderen Namen. Danach werden die Dateien mit OGR konvertiert.

Beispieldaten 2

Media:Beispieldaten2_directory_structure.zip

Eingabe:

 category1
   |--pois1
        |--pois.dbf
        |--pois.shp
        |--pois.shx
   |--pois2
        |--pois.mid
        |--pois.mif
        |--pois.gml
        |--pois.xsd
 category2
   |--pois1
        |--pois.gml
        |--pois.xsd
 pois.sqlite

Ausgabe bei der Konvertierung zu KML:

 category1
   |--pois1
        |--pois.kml
   |--pois2
        |--pois.kml
        |--pois_2.kml
 category2
   |--pois1
        |--pois.kml
 pois.kml

Erklärung: Der GeoConverter wandert durch alle Verzeichnisse und versucht, die gefundenen Dateien zu konvertieren.

Beispieldaten 3

Media:Beispieldaten3_nested_archives.zip

Eingabe:

 1.zip
   |--2.tar
        |--3.zip
             |--pois.sqlite

Ausgabe bei der Konvertierung zu KML:

 1
   |--2
        |--pois.kml

Erklärung: Der GeoConverter kann verschachtelte Zip- und Tar-Archive entpacken. 3.zip innerhalb von 2.tar wird von der Tar-Entpackfunktion von Python direkt entpackt, darum wird kein Ordner "3" erzeugt. Die erlaubte Tiefe von verschachtelten Archiven ist beschränkt.

Beispieldaten 4

WFS (Input):

Release 2008

Code auf https://cvsi.hsr.ch/svn/geoconverter

Task List (abgeschlossen)

1. Prio.

  • Neue Version u.a. mit (Geo)RSS, CSV-out mit Geometrie einspielen

Aktuell?

  • Übergabe der URL für s_srs und t_srs
  • GML-zu-Shapefile generiert nur 'rapperswil.shp' (LineString) und 'node.shp (Point): Warum? => OSM-Reader-XSL anpassen:
    • Bei nodes auch name-Attribut exportieren.
    • Im Falle von geschlossenen ways (= Polygone) soll anstelle 'osm:way' neu 'osm:area' stehen:
 <gml:featureMember>
 <osm:area fid="4304746">
 ...
 </osm:area>
 </gml:featureMember>
  • GML-zu-GPX gibt ein leeres GPX, falls das GML von OSM kommt.
mit "% ogr2ogr -skipfailures -nlt linestring -f GPX test.gpx rapperswil3.gml" hat etwas funktioniert. --Stefan 12:52, 10. Jul. 2008 (CEST)
  • Wenn bei Shapefile-Quellformat eine Metadaten-XML-Datei dabei ist (z.B. Bahnhoefe.shp.xml), dann funktioniert's nicht.
  • Möglichkeit, gleich nach "...succeeded" und v.a. nach "...failed" eine Mitteilung abzuschicken (intern per Mail). Dabei ev. eine 'Job-Nr.' mitgeben und diese auch ins Log schreiben. So kann man die Parameter nachvollziehen (ev. auch die Dateien??).

Bugs und kleinere Verbesserungen

Verbesserungen:

  • XML-Dateien (KML und GML?) upload mit DOS/ASCII ergibt "not successful", wenn Umlaute enthalten sind. => analysieren und ggf. Datei ad-hoc zu ANSI oder UTF-8 konvertieren.
  • Hilfe angeben (ERROR message): Source SRS missing. Conversion always includes a source and a target SRS given.
  • Mehr Angaben im Log-File im Fehlerfall.
  • Hintergrund grau statt schwarz => freundlicher?
  • Zusätzliches (vorhandenes) Format: "MapInfo Interchange Format (.tab)"
  • Neue CSV-out-Option "-lco GEOMETRY=AS_XY"

Bugs:

  • Ev. Problem mit der Wiki-Authentisierung wenn Space im Namen?: Siehe Benutzer_Diskussion:Stefan --Stefan 09:13, 8. Jul. 2008 (CEST)
  • Erstaunlich, dass das funktioniert: => Testen warum
    • => Nur .dbf? 19.03.2008 19:51 klmcmahan 168.236.43.132 conversion successful .dbf .mif L_COMM_INFO.dbf 1598
    • => "e00"? 01.04.2008 18:53 natal 158.125.70.104 conversion succeeded .e00 .csv n/a n/a dividing_area.e00 134147

Formate ab OGR 1.10:

  • OSM-Reader für .OSM/.PBF-Dateien
  • Geospatial PDF-Reader und -Writer

Formate ff.

  • Interlis 1.1

Grössere Erweiterungsideen

  • Ausbau nach AJAX zum Prüfen der Parameter (z.B. s_srs und t_srs)
  • .tar.gz verarbeiten?
  • Zusatz-Option 'Angabe Ausschnitt' (BBox-Feld: minX, minY, maxX, maxY)
  • Verwendeter OGR2OGR-Aufruf in eine Batch-Datei mit-verpacken (mit Dateinamen ohne Pfad).
  • Neues Zielformat 'Statistics (.txt)'. Ruft intern "ogrinfo <options> <inputfile_directory>" auf und gibt eine Textdatei aus.
  • Anzeige einer Statistik mit Konvertierungen.
    • Beispiel in Worten zur Statistik des Geoconverters: Seit 1. Juli 2008 bis heute (1.1.2009)- also sechs Monate oder 180 Tage - sind 859 Benutzer auf geoconverter angemeldet, davon waren 266 aktiv mit durchschnittlich zwölf Konvertierungen pro Tag (total ein halbes Tera-Byte), die Hälfte davon KML-to-SHP.
 Statistics (2007-01-13, 55 Datasets)
 Top 10 Source Formats Sum Succ.  Top 10 Target Formats Sum Succ.
 1. INTERLIS 1     (>) 33x (30x)  1. ESRI Shapefile (>) 39x (30x)
 2. ESRI Shapefile (v) 11x (..x)  2. KML            (^)  5x (..x)
 3. GPX            (^)  1x (..x)  3. GPX            (^)  1x (..x)

History

  • .kmz verarbeiten (KML mit Zip komprimiert). Sollte einfach mit (un-)zip weiterverarbeitbar sein (die Haupt-Datei drin hat dann oft denselben Namen 'google.kml' - aber nicht immer). -> DONE, 25.06.08
  • Logfile: mit ERROR-Code und ohne LF/CR -> DONE, 25.06.08
  • Redesign des Programmcodes -> DONE, 20.06.08
  • Upload und konvertieren von OSM-Dateien -> DONE, 20.06.08
  • Ergänzen der target file format-Auswahlliste mit allen notwendigen Dateien (z.B. ".shp, .shx, .dbf"). -> DONE, 08.04.08
  • CRS anstelle SRS -> DONE, 08.04.08
  • Anfang des log.txt löschen bis zum Punkt, wo CRS geloggt werden und Delimiter auf ";" stellen -> DONE, 08.04.08
  • "MapInfo Interchange Format" anstelle "Mapinfo File". -> DONE, 08.04.08
  • Rechtschreibefehler korrigieren (Refrence -> Reference) -> DONE, 28.03.08
  • SRS loggen -> DONE, 28.03.08
  • Führen eines Logs für spätere Statistik-Auswertung z.B. mit den Angaben: Username, User-IP, Datum/Zeit, Successfull (oder nicht), Quellformat, Zielformat, Quelldatei-Name, Quelldatei-Grösse (vgl. unten). -> DONE
  • Zusatz-Option 'Koordinaten-Transformation':
    • Angabe der Koordinaten-Transformation des Zielformats (-t_srs-Option). -> DONE
    • KML-Writer soll fix Parameter -t_srs EPSG:4326 erhalten (Google Earth erwartet immer WGS84). Dann muss aber auch das Quell-SRS bekannt sein, sonst wird EPSG:4326 angenommen (sonst gibt's Fehler). -> DONE
  • Formate: KML-Reader einbauen/aktivieren -> DONE

Feature Requests, Bug Reports and Suggestions

Please put your feature requests, bug reports and suggestions here.

Beim Konvertieren von shp-Daten für OpenStreetMap sind Daten entstanden, die um etwa 200m verschoben dargestellt werden. Was kann der Grund dafür sein? -- Miple, 10:31, 31. Mär. 2010 (UTC)

Lieber Miple, da müsste ich mehr Details (oder am besten gleich ein Datenausschnitt) haben: Von Shape nach GPX? Welche Gegend? --Stefan 18:36, 31. Mär. 2010 (UTC)
Es handelt sich bei den Shape-Daten um die Stadtgrenzen von Delmenhorst in Norddeutschland. --Miple 09:34, 1. Apr. 2010 (UTC)


Wie gehts? I want to add GeoConvert by Charles Karney into shapelib by Frank Warmerdam. Specifically, I want shapelib to convert utm into lat,lon. Sorry if I am on the wrong page. I can help do that if its allowed. -cellurl