sascha@4111: FLYS-AFT:
sascha@4111: """""""""
sascha@4110:
sascha@4111: Der FLYS-AFT-ETL-Prozessor aktualisiert eine FLYS-Datenbank mithilfe
tom@8679: eines DIPS-XML-Exports und einer AFT-Datenbank in Bezug auf Pegel und
sascha@4111: Abflusstafeln.
sascha@4111:
sascha@4111: Vorbedingungen:
sascha@4111: ---------------
sascha@4111:
sascha@4111: * Es existiert ein DIPS-XML-Export unter einen erreichbaren Pfad
sascha@4111: im Dateisystem.
sascha@4111:
sascha@4111: * Es existiert eine AFT-Datenbank mit bekannten Credentials.
sascha@4111:
sascha@4111: * Es existiert eine FLYS-Datenbank mit bekannten Credentials.
sascha@4111:
sascha@4113: Bau:
sascha@4113: ----
sascha@4113: * Maven2 sollte installiert und im Pfad liegen.
sascha@4113: ( http://maven.apache.org/docs/2.2.1/release-notes.html )
sascha@4113:
sascha@4113: $ mvn --version
sascha@4113: Sollte Versionsinformationen ausgeben.
sascha@4113:
sascha@4113: * Für die Nutzung der Oracle JDBC-Bindings muss das Oracle-Treiber-Jar
sascha@4113: in das lokale Maven-Repository installiert werden:
sascha@4113:
teichmann@8761: $ mvn install:install-file -DgroupId=ojdbc6.jar -DartifactId=ojdbc6 \
teichmann@8761: -Dversion=0 -Dpackaging=jar -Dfile=ojdbc6.jar -DgeneratePom=true
sascha@4113:
sascha@4113: * Für den eigentlichen Oracle-kompatiblen Bau kann dann folgendes
sascha@4113: aufgerufen werden:
sascha@4113:
sascha@4113: $ mvn -f pom-oracle.xml clean compile assembly:single
sascha@4113:
teichmann@5858: $ cp target/river-etl-1.0-SNAPSHOT-jar-with-dependencies.jar \
sascha@4113: bin/etl.jar
sascha@4113:
sascha@4113: * Folgendes führt das fertige Programm dann aus:
sascha@4113:
sascha@4113: $ bin/run.sh
sascha@4113:
sascha@4111: Konfiguration:
sascha@4111: --------------
sascha@4111:
teichmann@5857: Zur Konfiguration wird eine Konfiguration-Datei benötigt. Diese wird
tom@8679: standardmäßig im aktuellen Arbeitsverzeichnis unter dem Name 'config.xml'
sascha@4111: gesucht. Der Pfad zu dieser Datei kann allerdings auch mit der
sascha@4111: System-Property config.file gesetzt werden.
sascha@4111:
sascha@4111: Dies geschieht über den Kommandozeilenparameter "-Dconfig.file=/pfad/zur/config.xml"
sascha@4113: im Start-Skript bin/run.sh
sascha@4111:
sascha@4111: Die Konfigurationsdatei hat folgende Struktur:
sascha@4111:
aheinecke@4943: 1
aheinecke@4943: 2
aheinecke@4943: 3
aheinecke@4943: 4
aheinecke@4943: 5
aheinecke@4943: 6
aheinecke@4943: 7
aheinecke@4943: 8
aheinecke@4943: 9
aheinecke@4943: 10
aheinecke@4943: 11
aheinecke@4943: 12
aheinecke@4943: 13 /the/path/to/the/dips/file
aheinecke@4943: 14 /the/path/to/the/xslt/to/repair/dips
aheinecke@4943: 15
aheinecke@4943: 16
aheinecke@4943: 17
aheinecke@4943: 18
aheinecke@4943: 19 oracle.jdbc.OracleDriver
aheinecke@4943: 20 flys
aheinecke@4943: 21 flys
aheinecke@4943: 22 jdbc:oracle:thin:@//localhost:1521/XE
aheinecke@4943: 23
aheinecke@4943: 24
aheinecke@4943: 25
aheinecke@4943: 26
aheinecke@4943: 27
aheinecke@4943: 28 oracle.jdbc.OracleDriver
aheinecke@4943: 29 aft
aheinecke@4943: 30 aft
aheinecke@4943: 31 jdbc:oracle:thin:@//localhost:1521/XE
aheinecke@4943: 32
aheinecke@4943: 33 ALTER SESSION SET CURRENT_SCHEMA=AFT
aheinecke@4943: 34
aheinecke@4943: 35
aheinecke@4943: 36
aheinecke@4943: 37
sascha@4111:
sascha@4111: Sie besteht aus vier Bereichen:
sascha@4111:
sascha@4111: * DIPS:
sascha@4111: Zeile 13: Pfad zur XML-Datei mit dem DIPS-Export
sascha@4111: Zeile 14: Pfad zur Reparatur-XSL-Transformation (s.u.).
sascha@4111: Dieser ist optional.
sascha@4111: * FLYS:
sascha@4111: Zeile 19: JDBC-Treiber für den Zugriff auf die FLYS-Datenbank
sascha@4111: Zeile 20: DB-Nutzername
sascha@4111: Zeile 21: Connection-URL zur FLYS-Datenbank
sascha@4111:
sascha@4111: * AFT:
sascha@4111: Zeile 28: JDBC-Treiber für den Zugriff auf die AFT-Datenbank
sascha@4111: Zeile 29: DB-Nutzername
sascha@4111: Zeile 30: Connection-URL zur AFT-Datenbank
sascha@4111:
aheinecke@4943: * Schemata:
aheinecke@4943: Zeile 32-34: Schema in welches die Daten geschrieben werden sollen.
aheinecke@4943:
sascha@4111: * Benachrichtigungen:
sascha@4111: Zeile 5: URL des Web-Service, der benachrichtigt werden soll.
sascha@4111: Zeile 6-18: Die Nachricht, die an den Web-Service verschickt werden soll.
aheinecke@4943:
sascha@4111: Funktionsweise:
sascha@4111: ---------------
sascha@4111:
sascha@4111: Als erstes wird die DIPS-Datei geladen. Ist angegeben, dass
sascha@4111: eine Reparatur-XSL-Transformation auf diese angewendet werden
tom@8679: soll, wird diese ebenfalls geladen und auf das DIPS-Dokument
teichmann@5857: angewandt.
sascha@4111:
sascha@4111: !!! Hinweis: Unter doc/repair.xsl findet sich eine Beispiel-Transformation,
tom@8679: !!! die mithilfe von doc/pegelstationen.xml für die Flüsse
sascha@4111: !!! Saar, Mosel und Elbe die Pegelnummern der FLYS-Pegel
tom@8679: !!! auf die Pegelnummern von Pegel-Online anpasst.
sascha@4111:
tom@8679: Die so vor-behandelten DIPS-Daten werden mit der AFT-Datenbank
tom@7818: verbunden. Verbindungspunkt ist hierbei die Pegelnummer
tom@7818: ("NUMMER" in DIPS, "MESSSTELLE.MESSSTELLE_NR" in AFT), die
sascha@4111: in beiden Systemen gleich sein muss.
sascha@4111:
sascha@4111: Wurde für einzelne Pegel die Verbindung zwischen AFT und DIPS
sascha@4111: erfolgreich hergestellt, wird versucht mit der entsprechenden
tom@7818: Pegelnummer auch eine Verbindung zu FLYS herzustellen.
sascha@4111:
sascha@4111: Werden Pegel in AFT und DIPS gefunden, die sich nicht in FLYS befinden,
tom@8679: werden diese in FLYS angelegt (mit Station "STATIONIERUNG",
tom@7818: Pegelnullpunkt "PNP" und Einzugsgebietsgröße
tom@7818: "EINZUGSGEBIET_AEO" aus DIPS) und mit den Abflusstafeln aus AFT
sascha@4111: gefüllt.
sascha@4111:
tom@8766: Werden Pegel in AFT, DIPS und FLYS gefunden, so werden die Abflusstafeln
sascha@4111: in FLYS mithilfe von AFT aktualisiert. Die Verbindung der Abflusstafeln
sascha@4111: wird über deren Bezeichner hergestellt:
sascha@4111:
sascha@4111: AFT: "ABFLUSSTAFEL.ABFLUSSTAFEL_BEZ"
tom@8679: FLYS: "discharge_tables.description"
sascha@4111:
sascha@4111: Für alle vorhandenen Paare von AFT/FLYS-Abflusstafeln werden
sascha@4111: die W/Q-Werte abgeglichen und FLYS entsprechend aktualisiert.
sascha@4111: Abflusstafeln, die in FLYS noch nicht vorhanden sind, werden
sascha@4111: in FLYS übernommen.
sascha@4111:
tom@8766: Um Inkonsistenzen in FLYS zu vermeiden, müssen zusätzlich bestimmte
tom@8766: Bedingungen erfüllt sein, damit der Abgleich korrekt stattfinden kann.
tom@7818: So muss etwa der Name des Gewässers in DIPS ("GEWAESSER") auch im Namen des
tom@8679: Gewässers in FLYS ("rivers.name") enthalten sein, sowie der Pegel an einer
tom@8679: für das Gewässer gültigen Station ("STATIONIERUNG" in DIPS) liegen.
tom@7818: Die im Folgenden dokumentierten
aheinecke@7349: Fehlermeldungen geben über derartige Probleme Auskunft.
aheinecke@7349:
sascha@4111: Wenn es nach dem Abgleich der AFT- und FLYS-DB eine Veränderung
sascha@4111: in FLYS gegeben hat, können an konfigurierbare Web-Dienste
sascha@4111: Nachrichten verschickt werden, dass sich Daten geändert haben.
tom@8679: Die FLYS-Applikation selbst besitzt einen Dienst, der aufgerufen
tom@8766: werden kann, um dessen interne Caches zu invalidieren.
sascha@4111: Dies vermeidet Dateninkonsistenzen.
sascha@4110:
sascha@4110: Fehlermeldungen:
sascha@4110: ================
sascha@4110:
tom@8679: Während die Synchronisationsprozesses können verschiedene Fehler
sascha@4111: auftreten.
sascha@4111:
sascha@4110: Allgemein:
sascha@4110: ----------
sascha@4110:
sascha@4110: SYNC: syncing failed.
sascha@4110:
tom@8679: Während der Synchronisation ist ein Fehler aufgetreten. Details
sascha@4110: finden sich in der Regel oberhalb dieser Fehlermeldung.
sascha@4110:
sascha@4110: REPAIR: Cannot open DIPS repair XSLT file.
teichmann@5857:
sascha@4110: Die zur Reparatur angegebene XSL-Transformation konnte nicht geladen
sascha@4110: werden.
sascha@4110:
sascha@4110: REPAIR: Fixing DIPS failed.
sascha@4110:
sascha@4110: Die Anwendung der XSL-Transformation zur Reparatur der DIPS-Daten
tom@8679: ist fehlgeschlagen. Details hierzu sollten sich oberhalb dieser
sascha@4110: Fehlermeldung zu finden sein.
sascha@4110:
sascha@4110: Benachrichtigung:
sascha@4110: -----------------
sascha@4110:
sascha@4110: NOTIFY: Invalid URL ''. Ignored.
sascha@4110:
sascha@4110: Die zur Benachrichtigung angegebene URL ist nicht valide und
sascha@4110: wird daher ignoriert.
sascha@4110:
sascha@4110: NOTIFY: '' is not an HTTP(S) connection.
sascha@4110:
tom@8679: Die zur Benachrichtigung angegebene URL öffnet keine
sascha@4110: HTTP- bzw. HTTPS-Verbindung.
sascha@4110:
sascha@4110: NOTIFY: Sending message to '' failed.
sascha@4110:
sascha@4110: Der Versand der Benachrichtigung an die URL ist fehlgeschlagen.
sascha@4110:
sascha@4110: DIPS:
sascha@4110: -----
sascha@4110:
sascha@4110: DIPS: MESSSTELLE '' not found in DIPS. Gauge number used for lookup:
sascha@4110:
sascha@4110: Es wurde vergeblich versucht, mithilfe einer AFT-Pegelnummer in DIPS
sascha@4110: ein entsprechendes Gegenstück zu finden.
sascha@4110:
sascha@4110: DIPS: MESSSTELLE '' is assigned to river ''. Needs to be on ''.
sascha@4110:
sascha@4110: Aus Sicht von AFT wird Messstelle an erwartet.
sascha@4110: DIPS ordnet sie aber zu.
sascha@4110:
sascha@4110: DIPS: Gauge '' has no datum. Ignored.
sascha@4110:
sascha@4110: Der DIPS-Pegel hat keinen PNP und kann deshalb nicht
sascha@4110: importiert werden.
sascha@4110:
sascha@4110: DIPS: Setting AEO of gauge '' to zero.
sascha@4110:
sascha@4110: Der AEO-Wert ist bei dem DIPS-Pegel nicht gesetzt und
sascha@4110: wird mit Null angenommen.
sascha@4110:
sascha@4110: DIPS: Setting station of gauge '' to zero.
sascha@4110:
sascha@4110: Der DIPS-Pegel '' hat keine zugeordnete Stationierung und
sascha@4110: es wird angenommen, dass dieser an km 0 liegt.
sascha@4110:
sascha@4110: DIPS: Station of gauge '' is zero.
sascha@4110:
sascha@4110: Im Regelfall ist ein Stationierung an km 0 ein Datenfehler.
sascha@4110:
sascha@4110: DIPS: Cannot find ''.
sascha@4110:
sascha@4110: Der Pfad zum XML-Dokument mit den DIPS-Daten konnte nicht gefunden
sascha@4110: werden.
sascha@4110:
sascha@4110: DIPS: Cannot load DIPS document.
tom@8679:
sascha@4110: Das XML-Dokument mit den DIPS-Daten konnte nicht geladen werden.
sascha@4110:
sascha@4110: DIPS: '' collides with '' on gauge number .
sascha@4110:
sascha@4110: In DIPS gibt es zwei Pegel mit NAME1 und NAME2, die dieselbe Pegelnummer
sascha@4110: haben.
sascha@4110:
sascha@4110: DIPS: Gauge '' has invalid gauge number ''.
sascha@4110:
sascha@4110: Der DIPS-Pegel Name hat eine Pegelnummer , die sich nicht
tom@8679: in einen 64bit-Integer verwandeln lässt.
sascha@4110:
aheinecke@7217: DIPS: Skipping Gauge: '' because it is at Station: and the
aheinecke@7217: river is limited to: -
aheinecke@7217:
aheinecke@7217: Der DIPS Pegel wurde nicht eingelesen da seine Stationierung
aheinecke@7217: nicht mit den Fluss Kilometern in FLYS übereinstimmt. In einer
tom@8679: darauf folgenden Meldung wird geloggt das dieser Pegel nicht in
aheinecke@7217: DIPS vorhanden ist (da er nicht eingelesen wurde).
aheinecke@7217:
sascha@4110: AFT:
sascha@4110: ----
sascha@4110:
sascha@4110: AFT: ABFLUSSTAFEL_NR = : > . -> swap
sascha@4110:
sascha@4110: Eine AFT-Abflusstafel hat vertauschte GUELTIG_VON- und GUELTIG_BIS-Werte.
sascha@4110: Diese werden implizit in die zeitlich richtige Reihenfolge gebracht.
sascha@4110:
sascha@4110: FLYS/AFT: Value duplication w= q=. -> ignore.
sascha@4110:
sascha@4110: Beim Laden einer Abflusstafel wurden ein W/Q-Duplikat entdeckt
sascha@4110: und ignoriert.
sascha@4110:
sascha@4110: AFT: Invalid MESSSTELLE_NR for MESSSTELLE '':
sascha@4110:
sascha@4110: Die Messtellen-Nummer für die Messtelle ist ungültig.
sascha@4110: Erwartet wird ein String, der sich in einen 64bit-Integer umwandeln lässt.
sascha@4110:
sascha@4110: AFT: Found discharge table '' with same description. -> ignore.
sascha@4110:
sascha@4110: In AFT wurde eine Abflusstafel gefunden, die die gleiche Bezeichnung
sascha@4110: trägt wie eine andere, die demselben Pegel zugeordnet ist. Somit
sascha@4110: ist keine eindeutige Zuordnung möglich.
sascha@4110:
sascha@4110: FLYS:
sascha@4110: -----
sascha@4110:
sascha@4110: FLYS: Found discharge table '' with same description. -> ignore
sascha@4110:
sascha@4110: In FLYS wurde eine Abflusstafel gefunden, die die gleiche Bezeichnung
sascha@4110: trägt wie eine andere, die demselben Pegel zugeordnet ist. Somit
sascha@4110: ist keine eindeutige Zuordnung möglich.
sascha@4110:
sascha@4110: FLYS: Gauge '' has no official number. Ignored.
sascha@4110:
tom@8679: Der Pegel in FLYS hat keinen Pegelnummer und wird deshalb
sascha@4110: nicht in Betracht gezogen.
sascha@4110:
sascha@4110: FLYS: Gauge '' number is not found in AFT/DIPS.
sascha@4110:
sascha@4110: Der Pegel hat eine Pegelnummer, die aber nicht in AFT/DIPS
sascha@4110: zu finden ist.
sascha@4110:
sascha@4110: FLYS: discharge table has no description. Ignored.
sascha@4110:
sascha@4110: Die Abflusstafel in FLYS hat keine Beschreibung. Diese wird
sascha@4110: allerdings zum Abgleich mit DIPS/AFT benötigt.
sascha@4110:
sascha@4110: FLYS: Found discharge table '' with same description. -> ignore
sascha@4110:
sascha@4110: In FLYS wurde eine Abflusstafel gefunden, die die gleiche Bezeichnung
sascha@4110: trägt wie eine andere, die demselben Pegel zugeordnet ist. Somit
sascha@4110: ist keine eindeutige Zuordnung möglich.
sascha@4110:
sascha@4110: FLYS: Gauge '' has no official number. Ignored.
sascha@4110:
tom@8679: Der Pegel in FLYS hat keinen Pegelnummer und wird deshalb
sascha@4110: nicht in Betracht gezogen.
sascha@4110:
sascha@4110: FLYS: Gauge '' number is not found in AFT/DIPS.
sascha@4110:
sascha@4110: Der Pegel hat eine Pegelnummer, die aber nicht in AFT/DIPS
sascha@4110: zu finden ist.
sascha@4110:
sascha@4110: FLYS: discharge table has no description. Ignored.
sascha@4110:
sascha@4110: Die Abflusstafel in FLYS hat keine Beschreibung. Diese wird
sascha@4110: allerdings zum Abgleich mit DIPS/AFT benötigt.