comparison flys-backend/doc/shapeimporter/documentation.txt @ 3658:55c4b7442236

Initial checkin of documentation of the shape importer. flys-backend/trunk@5252 c6561f87-3c4e-4783-a992-168aeb5c3f6f
author Ingo Weinzierl <ingo.weinzierl@intevation.de>
date Thu, 23 Aug 2012 15:46:01 +0000
parents
children
comparison
equal deleted inserted replaced
3657:4f16070b917b 3658:55c4b7442236
1 Geodaten Importer
2 =================
3 Der Geodaten Importer ist ein in Python geschriebenes Kommandozeilen Tool zum
4 Import von Shapefiles in eine Datenbank. Zum Lesen der Shapefiles und zum
5 Schreiben der Geodaten in die Datenbank wird GDAL verwendet. Zum Import in eine
6 Oracle Datenbank ist es erforderlich, dass GDAL und GDAL Python Bindungs mit
7 Oracle Unterstützung installiert sind. Weitere Details hierzu befinden sich im
8 Kapitel `Systemanforderungen` und `Installationsanleitung`.
9 Der Importer kann mit einem Shellscript von der Kommandozeilen gestartet werden
10 (siehe Kapitel `Starten des Geodaten Importers`). Nach dem Start wird anhand der
11 Konfiguration festgestellt, welche Klassen von Shapefiles aus dem Dateisystem
12 importiert werden sollen. Für jede Klasse gibt es hierzu einen speziellen
13 Parser, der die speziellen Attribute eines Shapefiles liest und in die ent-
14 sprechende Relation der Datenbank schreibt. Die Parser sind speziell auf das
15 Dateisystem der BfG ausgerichtet. So wird z.B. erwartet, dass die Shapefiles der
16 Gewässerachse im Ordner `Geodaesie/Flussachse+km` liegen. Weitere Informationen zu
17 den einzelnen Parsern sind dem nächsten Kapitel `Beschreibung der Parser` zu
18 entnehmen. Der Erfolg oder Misserfolg eines Shape-Imports wird je nach
19 Konfiguration im Logfile vermerkt. Folgende Einträge können dem Logfile
20 entnommen werden:
21
22 INFO: Inserted 4 features Gibt die Anzahl der erfolgreich importierten
23 Features an.
24
25 INFO: Failed to create 2 features Gibt die Anzahl der Features an, die nicht
26 importiert werden konnten.
27
28 INFO: Found 3 unsupported features Gibt die Anzahl der Features an, die
29 aufgrund ihres Datentyps nicht importiert
30 werden konnten. Z.B: es werden Linien
31 erwartet, im Shapefile sind jedoch
32 Polygone enthalten.
33
34 ERROR: Unable to insert feature: $DETAIL Beim Lesen der Attribute eines
35 Features ist ein Fehler aufgetreten.
36 Das Feature konnte nicht in die
37 Datenbank geschrieben werden.
38
39 ERROR: Exception while committing transaction Beim Abschluss des
40 Schreib-Vorgangs in die
41 Datenbank ist ein unerwarteter
42 Fehler aufgetreten. Die
43 Features des Shapes sind
44 nicht importiert worden.
45
46 Damit die Geodaten eines Shapes später eindeutig in der Datenbank identifiziert
47 werden können, wird für jede Geometrie der Pfad des Shapes im Dateisystem in
48 einer Spalte der Datenbank gespeichert. Anwendungen, die auf der Datenbank
49 aufbauen, können die Geodaten eines Shapefiles später anhand dieses Merkmals
50 gruppieren und anzeigen.
51
52
53 Beschreibung der Parser
54 -----------------------
55 Wie im letzten Kapitel beschrieben, sind die Parser speziell an das Dateisystem
56 der BfG ausgerichtet. Im folgenden werden zu jedem Parser folgende Informationen
57 angegeben:
58
59 Pfad Der Pfad, in dem die Shapefiles im Dateisystem abgelegt sein
60 müssen ausgehend vom Gewässer Verzeichnis.
61
62 Geometrie Der Geometrie Typ, der für diese Klasse von Shapefiles
63 erwartet wird.
64
65 Attribute Eine Liste der Attribute, die vom Parser aus dem Shape
66 gelesen werden.
67
68
69 Achsen
70 ------
71 Pfad Geodaesie/Flussachse+km
72 Geometrie LINESTRING
73 Attribute name, kind
74
75
76 Hydrologische Grenzen
77 ---------------------
78 Pfad Hydrologie/Hydr.Grenzen/Linien
79 Geometrie LINESTRING, POLYGON
80 Attribute name, kind
81
82
83 Bauwerke
84 --------
85 Pfad Geodaesie/Bauwerke
86 Geometrie LINESTRING
87 Attribute name, Name, KWNAAM
88
89
90 Einzugsgebiete
91 --------------
92 Pfad Hydrologie/Einzugsgebiet
93 Geometrie POLYGON, MULTIPOLYGON
94 Attribute name, Name, AREA, area
95
96
97 Querprofilspuren
98 ----------------
99 Pfad Geodaesie/Querprofile
100 Geometrie LINESTRING
101 Attribute KILOMETER, KM, STATION, ELEVATION
102
103
104 Festpunkte
105 ----------
106 Pfad Geodaesie/Festpunkte
107 Geometrie POINT
108 Attribute name, KM, ELBE_KM, X, Y, HPGP
109
110
111 Talaue
112 ------
113 Pfad Hydrologie/Hydr.Grenzen
114 Geometrie POLYGON, MULTIPOLYGON
115 Attribute name
116
117
118 Pegelstationen
119 --------------
120 Pfad Hydrologie/Streckendaten
121 Geometrie POINT
122 Attribute Name, name, MPNAAM
123
124
125 Hochwasserschutzanlagen
126 -----------------------
127 Pfad Hydrologie/HW-Schutzanlagen
128 Geometrie LINESTRING
129 Attribute TYP, Bauart, Name, name
130
131
132 Kilometrierung
133 --------------
134 Pfad Geodaesie/Flussachse+km
135 Geometrie POINT
136 Attribute name, km, KM
137
138
139 Linien
140 ------
141 Pfad Geodaesie/Linien
142 Geometrie LINESTRING, MULTILINESTRING
143 Attribute name, TYP, Z
144
145 Anmerkung: Wenn kein Attribut 'TYP' definiert ist, wird standardmäßig der
146 Wert 'DAMM' angenommen. Fehlt ein Attribut 'Z' wird als '9999' als Höhe
147 angenommen.
148
149
150 Überschwemmungsfläche
151 ----------------------
152 Pfad Hydrologie/UeSG/Berechnung
153 Geometrie POLYGON, MULTIPOLYGON
154 Attribut name, diff, count, area, perimeter
155
156
157 Systemanforderungen
158 -------------------
159 * Oracle Datenbank inkl. Schema für FLYS
160 * GDAL Binding für Python mit Oracle Support
161 * ogr2ogr
162 * Python >= 2.6
163
164
165 Installationsanleitung
166 ----------------------
167 * TODO: GDAL Binding installieren
168 * TODO: Python installieren
169 * TODO: ogr2ogr installieren
170
171
172 Konfiguration
173 -------------
174 Der Geodaten Importer kann über die Datei `contrib/shpimporter/run.sh`
175 konfiguriert werden. Öffnen Sie die Datei mit einem Texteditor Ihrer Wahl.
176 In den Zeilen 4-9 werden Optionen definiert, die zwangsläufig angepasst
177 werden müssen:
178
179 RIVER_PATH Der Pfad zum Gewässer im Dateisystem.
180 RIVER_ID Die Datenbank ID des zu importierenden Gewässers.
181 TARGET_SRS Das EPSG Referenzsystem in das die Geodaten beim Import
182 projeziert werden sollen.
183 HOST Der Host der Datenbank.
184 USER Der Nutzer, der zum Verbinden zur Datenbank verwendet wird.
185 PASS Das Passwort für USER zum Verbinden zur Datenbank.
186
187 In den Zeilen 12-23 werden weitere Optionen definiert, die bei Bedarf angepasst
188 werden können. Falls nicht anders angegeben, können die Optionen mit den Werten
189 `0` und `1` belegt werden.
190
191 VERBOSE Dieser Wert gibt die Granularität der Log-Ausgaben während des
192 Imports an. Je höher der Wert, desto mehr Informationen werden
193 in das Logfile geschrieben. Aktuell sind die Werte `0`, `1` und
194 `2` definiert. Wird der Wert `0` gesetzt, werden nur Fehler und
195 Warnungen in das Logfile geschrieben. Bei `1` werden neben
196 Fehlern und Warnungen auch Infos in das Logfile geschrieben. Bei
197 `2` werden sämtliche Ausgaben des Programms geschrieben. Dieser
198 Modus ist hauptsächlich für die Entwicklung gedacht.
199
200 SKIP_AXIS Bei gesetztem Wert `1` werden keine Flussachsen importiert.
201 SKIP_KMS Bei gesetztem Wert `1` werden keine Kilometrierungen importiert.
202 SKIP_CROSSSECTIONS Bei gesetztem Wert `1` werden keine Querprofilespuren
203 importiert.
204 SKIP_LINES Bei gesetztem Wert `1` werden keine Linien importiert.
205 SKIP_FIXPOINTS Bei gesetztem Wert `1` werden keine Festpunkte importiert.
206 SKIP_BUILDINGS Bei gesetztem Wert `1` werden keine Bauwerke importiert.
207 SKIP_FLOODPLAINS Bei gesetztem Wert `1` werden keine Talauen importiert.
208 SKIP_HYDR_BOUNDARIES Bei gesetztem Wert `1` werden keine hydrologischen
209 Grenzen importiert.
210 SKIP_HWS Bei gesetztem Wert `1` werden keine
211 Hochwasserschutzanlagen importiert.
212 SKIP_GAUGE_LOCATION Bei gesetztem Wert `1` werden keine Pegelorte importiert.
213 SKIP_CATCHMENTS Bei gesetztem Wert `1` werden keine Einzugsgebiete importiert.
214 SKIP_UESG Bei gesetztem Wert `1` werden keine
215 Überschwemmungsflächen importiert.
216
217
218 Starten des Geodaten Importers
219 ------------------------------
220 Der Geodaten Importer wird mittels eines Shellskripts von einer Konsole
221 gestartet. Dazu wechseln Sie auf der Konsole in das Verzeichnis 'TODO' und
222 führen Sie folgenden Befehl aus:
223
224 $> sh contrib/shpimporter/run.sh > import.log
225
226 Der Importer wird nun gestartet. Sämtliche Log-Ausgaben werden in die Datei
227 `import.log` geschrieben.

http://dive4elements.wald.intevation.org