Mercurial > dive4elements > river

comparison etl/README.txt @ 8679:6e105764ba14

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
Fix spelling and whitespace-cleanup in ETL-README.
author Tom Gottfried <tom@intevation.de>
date Fri, 10 Apr 2015 13:26:59 +0200
parents 20053d86fa5e
children cb6514faf0d9
comparison
equal deleted inserted replaced
8678:b743ed33c65d 8679:6e105764ba14
1 FLYS-AFT: 1 FLYS-AFT:
2 """"""""" 2 """""""""
3 3
4 Der FLYS-AFT-ETL-Prozessor aktualisiert eine FLYS-Datenbank mithilfe 4 Der FLYS-AFT-ETL-Prozessor aktualisiert eine FLYS-Datenbank mithilfe
5 eines DIPS-XML-Exports und einer AFT-Datenbank in bezug auf Pegel und 5 eines DIPS-XML-Exports und einer AFT-Datenbank in Bezug auf Pegel und
6 Abflusstafeln. 6 Abflusstafeln.
7 7
8 Vorbedingungen: 8 Vorbedingungen:
9 --------------- 9 ---------------
10 10
43 43
44 Konfiguration: 44 Konfiguration:
45 -------------- 45 --------------
46 46
47 Zur Konfiguration wird eine Konfiguration-Datei benötigt. Diese wird 47 Zur Konfiguration wird eine Konfiguration-Datei benötigt. Diese wird
48 standardmässig im aktuellen Arbeitsverzeichnis uter dem Name 'config.xml' 48 standardmäßig im aktuellen Arbeitsverzeichnis unter dem Name 'config.xml'
49 gesucht. Der Pfad zu dieser Datei kann allerdings auch mit der 49 gesucht. Der Pfad zu dieser Datei kann allerdings auch mit der
50 System-Property config.file gesetzt werden. 50 System-Property config.file gesetzt werden.
51 51
52 Dies geschieht über den Kommandozeilenparameter "-Dconfig.file=/pfad/zur/config.xml" 52 Dies geschieht über den Kommandozeilenparameter "-Dconfig.file=/pfad/zur/config.xml"
53 im Start-Skript bin/run.sh 53 im Start-Skript bin/run.sh
118 Funktionsweise: 118 Funktionsweise:
119 --------------- 119 ---------------
120 120
121 Als erstes wird die DIPS-Datei geladen. Ist angegeben, dass 121 Als erstes wird die DIPS-Datei geladen. Ist angegeben, dass
122 eine Reparatur-XSL-Transformation auf diese angewendet werden 122 eine Reparatur-XSL-Transformation auf diese angewendet werden
123 soll, wird diese ebenfalls gelanden und auf das DIPS-Dokument 123 soll, wird diese ebenfalls geladen und auf das DIPS-Dokument
124 angewandt. 124 angewandt.
125 125
126 !!! Hinweis: Unter doc/repair.xsl findet sich eine Beispiel-Transformation, 126 !!! Hinweis: Unter doc/repair.xsl findet sich eine Beispiel-Transformation,
127 !!! Die mithilfe von doc/pegelstationen.xml für die Flüsse 127 !!! die mithilfe von doc/pegelstationen.xml für die Flüsse
128 !!! Saar, Mosel und Elbe die Pegelnummern der FLYS-Pegel 128 !!! Saar, Mosel und Elbe die Pegelnummern der FLYS-Pegel
129 !!! auf die Pegelnummernvon Pegel-Online anpasst. 129 !!! auf die Pegelnummern von Pegel-Online anpasst.
130 130
131 Die so vorbehandelten DIPS-Daten werden mit der AFT-Datenbank 131 Die so vor-behandelten DIPS-Daten werden mit der AFT-Datenbank
132 verbunden. Verbindungspunkt ist hierbei die Pegelnummer 132 verbunden. Verbindungspunkt ist hierbei die Pegelnummer
133 ("NUMMER" in DIPS, "MESSSTELLE.MESSSTELLE_NR" in AFT), die 133 ("NUMMER" in DIPS, "MESSSTELLE.MESSSTELLE_NR" in AFT), die
134 in beiden Systemen gleich sein muss. 134 in beiden Systemen gleich sein muss.
135 135
136 Wurde für einzelne Pegel die Verbindung zwischen AFT und DIPS 136 Wurde für einzelne Pegel die Verbindung zwischen AFT und DIPS
137 erfolgreich hergestellt, wird versucht mit der entsprechenden 137 erfolgreich hergestellt, wird versucht mit der entsprechenden
138 Pegelnummer auch eine Verbindung zu FLYS herzustellen. 138 Pegelnummer auch eine Verbindung zu FLYS herzustellen.
139 139
140 Werden Pegel in AFT und DIPS gefunden, die sich nicht in FLYS befinden, 140 Werden Pegel in AFT und DIPS gefunden, die sich nicht in FLYS befinden,
141 werden diese in FLYS angelegt (mit Station "STATIONIERUNG", 141 werden diese in FLYS angelegt (mit Station "STATIONIERUNG",
142 Pegelnullpunkt "PNP" und Einzugsgebietsgröße 142 Pegelnullpunkt "PNP" und Einzugsgebietsgröße
143 "EINZUGSGEBIET_AEO" aus DIPS) und mit den Abflusstafeln aus AFT 143 "EINZUGSGEBIET_AEO" aus DIPS) und mit den Abflusstafeln aus AFT
144 gefüllt. 144 gefüllt.
145 145
146 Werden Pegel in AFT, DIPS und FLYS gefunden, werde die Abflusstafeln 146 Werden Pegel in AFT, DIPS und FLYS gefunden, werde die Abflusstafeln
147 in FLYS mithilfe von AFT aktualisiert. Die Verbindung der Abflusstafeln 147 in FLYS mithilfe von AFT aktualisiert. Die Verbindung der Abflusstafeln
148 wird über deren Bezeichner hergestellt: 148 wird über deren Bezeichner hergestellt:
149 149
150 AFT: "ABFLUSSTAFEL.ABFLUSSTAFEL_BEZ" 150 AFT: "ABFLUSSTAFEL.ABFLUSSTAFEL_BEZ"
151 FLYS: "discharge_tables.decsription" 151 FLYS: "discharge_tables.description"
152 152
153 Für alle vorhandenen Paare von AFT/FLYS-Abflusstafeln werden 153 Für alle vorhandenen Paare von AFT/FLYS-Abflusstafeln werden
154 die W/Q-Werte abgeglichen und FLYS entsprechend aktualisiert. 154 die W/Q-Werte abgeglichen und FLYS entsprechend aktualisiert.
155 Abflusstafeln, die in FLYS noch nicht vorhanden sind, werden 155 Abflusstafeln, die in FLYS noch nicht vorhanden sind, werden
156 in FLYS übernommen. 156 in FLYS übernommen.
157 157
158 Um Inkonsistenzen in FLYS zu vermeiden müssen zusätzlich bestimme 158 Um Inkonsistenzen in FLYS zu vermeiden müssen zusätzlich bestimme
159 Bedingungen erfüllt sein damit der Abgleich korrekt stattfinden kann. 159 Bedingungen erfüllt sein damit der Abgleich korrekt stattfinden kann.
160 So muss etwa der Name des Gewässers in DIPS ("GEWAESSER") auch im Namen des 160 So muss etwa der Name des Gewässers in DIPS ("GEWAESSER") auch im Namen des
161 Gewässers in FLYS ("rivers.name") enthalten sein, sowie der Pegel an einer 161 Gewässers in FLYS ("rivers.name") enthalten sein, sowie der Pegel an einer
162 für das Gewässer gültigen Station ("STATIONIERUNG" in DIPS) liegen. 162 für das Gewässer gültigen Station ("STATIONIERUNG" in DIPS) liegen.
163 Die im Folgenden dokumentierten 163 Die im Folgenden dokumentierten
164 Fehlermeldungen geben über derartige Probleme Auskunft. 164 Fehlermeldungen geben über derartige Probleme Auskunft.
165 165
166 Wenn es nach dem Abgleich der AFT- und FLYS-DB eine Veränderung 166 Wenn es nach dem Abgleich der AFT- und FLYS-DB eine Veränderung
167 in FLYS gegeben hat, können an konfigurierbare Web-Dienste 167 in FLYS gegeben hat, können an konfigurierbare Web-Dienste
168 Nachrichten verschickt werden, dass sich Daten geändert haben. 168 Nachrichten verschickt werden, dass sich Daten geändert haben.
169 Die FLYS-Applikation selbst bestitzt einen Dienst, der aufgerufen 169 Die FLYS-Applikation selbst besitzt einen Dienst, der aufgerufen
170 werden kann, um dessen internen Caches zu invalidieren. 170 werden kann, um dessen internen Caches zu invalidieren.
171 Dies vermeidet Dateninkonsistenzen. 171 Dies vermeidet Dateninkonsistenzen.
172 172
173 Fehlermeldungen: 173 Fehlermeldungen:
174 ================ 174 ================
175 175
176 Wärend die Synchronisationsprozesses können verschiedene Fehler 176 Während die Synchronisationsprozesses können verschiedene Fehler
177 auftreten. 177 auftreten.
178 178
179 Allgemein: 179 Allgemein:
180 ---------- 180 ----------
181 181
182 SYNC: syncing failed. 182 SYNC: syncing failed.
183 183
184 Wärend der Synchronisation ist ein Fehler aufgetreten. Details 184 Während der Synchronisation ist ein Fehler aufgetreten. Details
185 finden sich in der Regel oberhalb dieser Fehlermeldung. 185 finden sich in der Regel oberhalb dieser Fehlermeldung.
186 186
187 REPAIR: Cannot open DIPS repair XSLT file. 187 REPAIR: Cannot open DIPS repair XSLT file.
188 188
189 Die zur Reparatur angegebene XSL-Transformation konnte nicht geladen 189 Die zur Reparatur angegebene XSL-Transformation konnte nicht geladen
190 werden. 190 werden.
191 191
192 REPAIR: Fixing DIPS failed. 192 REPAIR: Fixing DIPS failed.
193 193
194 Die Anwendung der XSL-Transformation zur Reparatur der DIPS-Daten 194 Die Anwendung der XSL-Transformation zur Reparatur der DIPS-Daten
195 ist fehlgeschlagen. Datails hierzu sollten sich oberhalb dieser 195 ist fehlgeschlagen. Details hierzu sollten sich oberhalb dieser
196 Fehlermeldung zu finden sein. 196 Fehlermeldung zu finden sein.
197 197
198 Benachrichtigung: 198 Benachrichtigung:
199 ----------------- 199 -----------------
200 200
203 Die zur Benachrichtigung angegebene URL ist nicht valide und 203 Die zur Benachrichtigung angegebene URL ist nicht valide und
204 wird daher ignoriert. 204 wird daher ignoriert.
205 205
206 NOTIFY: '<URL>' is not an HTTP(S) connection. 206 NOTIFY: '<URL>' is not an HTTP(S) connection.
207 207
208 Die zur Benachrichtigung angegebene URL öffnet keine 208 Die zur Benachrichtigung angegebene URL öffnet keine
209 HTTP- bzw. HTTPS-Verbindung. 209 HTTP- bzw. HTTPS-Verbindung.
210 210
211 NOTIFY: Sending message to '<URL>' failed. 211 NOTIFY: Sending message to '<URL>' failed.
212 212
213 Der Versand der Benachrichtigung an die URL ist fehlgeschlagen. 213 Der Versand der Benachrichtigung an die URL ist fehlgeschlagen.
248 248
249 Der Pfad zum XML-Dokument mit den DIPS-Daten konnte nicht gefunden 249 Der Pfad zum XML-Dokument mit den DIPS-Daten konnte nicht gefunden
250 werden. 250 werden.
251 251
252 DIPS: Cannot load DIPS document. 252 DIPS: Cannot load DIPS document.
253 253
254 Das XML-Dokument mit den DIPS-Daten konnte nicht geladen werden. 254 Das XML-Dokument mit den DIPS-Daten konnte nicht geladen werden.
255 255
256 DIPS: '<NAME2>' collides with '<NAME1>' on gauge number <NUMMER>. 256 DIPS: '<NAME2>' collides with '<NAME1>' on gauge number <NUMMER>.
257 257
258 In DIPS gibt es zwei Pegel mit NAME1 und NAME2, die dieselbe Pegelnummer 258 In DIPS gibt es zwei Pegel mit NAME1 und NAME2, die dieselbe Pegelnummer
259 haben. 259 haben.
260 260
261 DIPS: Gauge '<NAME>' has invalid gauge number '<NUMBER>'. 261 DIPS: Gauge '<NAME>' has invalid gauge number '<NUMBER>'.
262 262
263 Der DIPS-Pegel Name hat eine Pegelnummer <NUMMER>, die sich nicht 263 Der DIPS-Pegel Name hat eine Pegelnummer <NUMMER>, die sich nicht
264 in einen 64bit-Integer erwandeln lässt. 264 in einen 64bit-Integer verwandeln lässt.
265 265
266 DIPS: Skipping Gauge: '<NAME>' because it is at Station: <pos> and the 266 DIPS: Skipping Gauge: '<NAME>' because it is at Station: <pos> and the
267 river is limited to: <fromkm> - <tokm> 267 river is limited to: <fromkm> - <tokm>
268 268
269 Der DIPS Pegel wurde nicht eingelesen da seine Stationierung 269 Der DIPS Pegel wurde nicht eingelesen da seine Stationierung
270 nicht mit den Fluss Kilometern in FLYS übereinstimmt. In einer 270 nicht mit den Fluss Kilometern in FLYS übereinstimmt. In einer
271 darauffolgenden Meldung wird geloggt das dieser Pegel nicht in 271 darauf folgenden Meldung wird geloggt das dieser Pegel nicht in
272 DIPS vorhanden ist (da er nicht eingelesen wurde). 272 DIPS vorhanden ist (da er nicht eingelesen wurde).
273 273
274 AFT: 274 AFT:
275 ---- 275 ----
276 276
304 trägt wie eine andere, die demselben Pegel zugeordnet ist. Somit 304 trägt wie eine andere, die demselben Pegel zugeordnet ist. Somit
305 ist keine eindeutige Zuordnung möglich. 305 ist keine eindeutige Zuordnung möglich.
306 306
307 FLYS: Gauge '<PEGEL>' has no official number. Ignored. 307 FLYS: Gauge '<PEGEL>' has no official number. Ignored.
308 308
309 Der Pegel <PEGEL> in FYLS hat keinen Pegelnummer und wird deshalb 309 Der Pegel <PEGEL> in FLYS hat keinen Pegelnummer und wird deshalb
310 nicht in Betracht gezogen. 310 nicht in Betracht gezogen.
311 311
312 FLYS: Gauge '<PEGEL>' number is not found in AFT/DIPS. 312 FLYS: Gauge '<PEGEL>' number is not found in AFT/DIPS.
313 313
314 Der Pegel <PEGEL> hat eine Pegelnummer, die aber nicht in AFT/DIPS 314 Der Pegel <PEGEL> hat eine Pegelnummer, die aber nicht in AFT/DIPS
325 trägt wie eine andere, die demselben Pegel zugeordnet ist. Somit 325 trägt wie eine andere, die demselben Pegel zugeordnet ist. Somit
326 ist keine eindeutige Zuordnung möglich. 326 ist keine eindeutige Zuordnung möglich.
327 327
328 FLYS: Gauge '<PEGEL>' has no official number. Ignored. 328 FLYS: Gauge '<PEGEL>' has no official number. Ignored.
329 329
330 Der Pegel <PEGEL> in FYLS hat keinen Pegelnummer und wird deshalb 330 Der Pegel <PEGEL> in FLYS hat keinen Pegelnummer und wird deshalb
331 nicht in Betracht gezogen. 331 nicht in Betracht gezogen.
332 332
333 FLYS: Gauge '<PEGEL>' number is not found in AFT/DIPS. 333 FLYS: Gauge '<PEGEL>' number is not found in AFT/DIPS.
334 334
335 Der Pegel <PEGEL> hat eine Pegelnummer, die aber nicht in AFT/DIPS 335 Der Pegel <PEGEL> hat eine Pegelnummer, die aber nicht in AFT/DIPS
http://dive4elements.wald.intevation.org