FLYS3-Importer

Der FLYS3-Importer dient dazu, hydrologische und morphologische
Gewässerdaten aus dem Dateisystem in die FLYS3-Datenbank zu importieren.
Das Werkzeug orientiert sich hierbei an der Dateihierachie,
so wie sie auch von Desktop-FLYS ausgelesen wird.

Als Startargument bekommt der Importer den Pfad zu einer
GEW-Datei übergeben. 

Wichtig für den Importer sind in dieser Datei
die Zeilen, die mit "WSTDatei:" beginnen. In ihnen wird der 
Pfad zu der zentralen WST-Datei des jeweiligen Gewässers angegeben.
Alle anderen importierten Dateien werden in ihrer Lage relativ zur 
Lage dieser Datei betrachtet.

Das Verhalten des Importes kann mit sogenannten
System-Properties gesteuert werden. Diese werden im
Allgemeinen in der Form -Dkey=value angegeben.

Will man z.B. mit dem Importer nur in simulierierten Import
durchführen, dann kann dies über die Angabe von
'-Dflys.backend.importer.dry.run=true' erfolgen.

!!! Der Import geht wie Desktop-FLYS davon aus, dass die Dateien
!!! Latin-1 encodiert vorliegen.

Für den Importer stellt jeweils der Import eines Gewässers eine
transaktionale Einheit dar. Wird der Import während eines Gewässers
abgebrochen, werden alle Änderungen bzgl. dieses Gewässers zurück gerollt.

Importierte Daten:

Der Importer importiert folgende Datentypen:

- Streckenfavoriten (*.km-Dateien)
  Der Import kann mit '-Dflys.backend.importer.skip.annotations=true'
  unterdrückt werden.

  TODO SLT: flys.backend.importer.annotation.types erklären!

- Pegel, Stammdaten (*.glt, *.sta-Dateien):
  Der Import kann mit '-Dflys.backend.importer.skip.gauges=true'
  unterdrückt werden.

  Wenn "-Dflys.backend.sta.parse.gauge.numbers=true' wird versucht,
  die offiziellen Pegelnummern aus den Stammdaten zu extrahieren.
  !!! Dies ist mit Vorsicht zu behandeln, denn die meisten STA-Dateien
  !!! Enthalten invalide Pegelnummern.

  Die System-Property "flys.backend.main.value.types" kann einen
  String mit gültigen Typen von Stamdaten enthalten. Vorbelegt
  ist "QWTD". In der Praxis ist "QWD" eine sinnvolle Belegung.

- Basis-Wasserstände (gewaesser.wst-Dateien):
  Der Import kann mit '-Dflys.backend.importer.skip.wst=true'
  unterdrückt werden.

- Zusätzliche Längsschnitte (*.zus, *.wst-Dateien)
  Der Import kann mit '-Dflys.backend.importer.skip.extra.wsts=true'
  unterdrückt werden.

- Fixierungen (*.wst-Dateien)
  Der Import kann mit '-Dflys.backend.importer.skip.fixations=true'
  unterdrückt werden.

- Amtliche Linien (*.wst-Dateien)
  Der Import kann mit '-Dflys.backend.importer.skip.official.lines=true'
  unterdrückt werden.

- Profilspuren (*.prf-Dateien)
  Der Import kann mit '-Dflys.backend.importer.skip.prfs=true'
  unterdrückt werden.

- Hydraulische Kennzahlen (*.hyk)
  Der Import kann mit '-Dflys.backend.importer.skip.hyks=true'
  unterdrückt werden.

- Hochwassermarken (*.zus)
  Der Import kann mit '-Dflys.backend.importer.skip.flood.water=true'
  unterdrückt werden.

- Hochwasserschutzanlagen (*.zus)
  Der Import kann mit '-Dflys.backend.importer.skip.flood.protection=true'
  unterdrückt werden.

  TODO INGO:

  flys.backend.importer.skip.bed.height.single
  flys.backend.importer.skip.bed.height.epoch
  flys.backend.importer.skip.sediment.density
  flys.backend.importer.skip.morphological.width
  flys.backend.importer.skip.flow.velocity
  flys.backend.importer.skip.sediment.yield
  flys.backend.importer.skip.waterlevels
  flys.backend.importer.skip.waterlevel.differences
  flys.backend.importer.skip.sq.relation

TODO SLT: Datenbank-Credentials dokumentieren.


Fehler:
-------

- 'error while parsing gew'
  Die GEW-Datei ist fehlerhaft oder konnte nicht geöffnet werden.

- 'File 'XYZ' is broken!'
  Die Datei XYZ ist inkonsistent und führt zu Fehlern.

- 'Error while parsing file for morph. width.'
  Beim Lesen der morphologischen Breite trat ein Fehler auf.

- 'Error while storing flow velocity model.'
  Beim Schreiben eines Fliessgeschwindigkeitsmodells trat ein Fehler auf.

- 'Error while storing flow velocity measurement.'
  Beim Schreiben einer Fliessgeschwindigkeitsmessung trat ein Fehler auf. 

- 'Error while storing sediment yield.'
  Beim Schreiben einer Sedimentablagerung trat ein Fehler auf.

- 'Error while storing waterlevel diff.'
  Beim Schreiben einer Wassspiegeldifferenz trat ein Fehler auf.

- 'Error while storing sq relation.'
  Beim Schreiben einer S(Q) Beziehung trat ein Fehler auf.

- 'Error reading PRF file.'
  Beim Lesen einer PRF-Datei trat ein Fehler auf.

- 'Error closing PRF file.'
  Beim Schliessen einer PRF-Datei trat ein Fehler auf.

- 'HYK 1: not enough elements in line #'
- 'HYK 2: not enough elements in line #'
- 'HYK 5: not enough elements in line #'
- 'HYK 6: not enough elements in line #'
  Eine Zeile in einer HYK-Datei hat nicht genügend Elemente.

- 'HYK: parsing num zones, bottom or top height failed in line #'
- 'HYK: HYK: number of flow zones mismatches in line #'
  Die Anzahl der Zonen oder Daten über die Zonen sind nicht korrekt.

- 'HYK: cannot parse number in line #'
  Eine Zahl wurde erwartet.

- 'HYK: Error reading file.'
  Beim Lesen einer HYK-Datei trat ein Fehler auf.

- 'HYK: Error closing file.'
  Beim Schliessen einer HYK-Datei trat ein Fehler auf.

Warnungen:
----------

- 'annotation type file 'XYZ' is not readable.'
  Die Datein XYZ kann nicht gelesen werden.

- 'cannot parse annotation types file.'
  Während der Verarbeitung der Annotationsdatei ist Fehler aufgetreten.

- 'Cannot read directory.'
  verzeichnis konnte nicht gelesen werden.

- 'no official lines wst file found'
  Keine Datei mit amtlichen Linien gefunden.

- 'cannot read fixations wst file directory'
  Das Verzeichnis mit den Fixierungen kann nicht gelesen werden.

- 'cannot read extra longitudinal wst file directory'
  Das Verzeichnis mit den zusätzlichen Längsschnitten kann nicht gelesen werden.

- 'cannot read gauges from 'XYZ''
  Die Pegelgültigkeiten können nicht gelesen werden.

- 'HYK file 'XYZ' seems to be a duplicate.'
  Die HYK-Datei wurde unter anderem Namen aber gleichen Inhalts
  bereits gefunden.

- 'PRF file 'XYZ' seems to be a duplicate.'
  Die PRF-Datei wurde unter anderem Namen aber gleichen Inhalts
  bereits gefunden.

- 'Skip invalid SedimentYield: time interval or unit null!'
  Eine Sedimentablagerung ist ungültig und wurde ausgelassen.

- 'skip flow velocity model: No discharge zone specified.'
  Da kein Abflussbereich angegeben wurde, wurde das Fliessgeschwindigkeitsmodell ausgelassen.

- 'skip invalid waterlevel - no unit set!'
  Ein einheitenloser Wasserstand wurde ausgelassen.

- 'Cannot parse time range.'
  Das Zeitformat wurde nicht erkannt.

- 'skip invalid data line #'
  Ungültige Datenzeile wurde ausgelassen.

- 'Error while parsing sq relation row #'
  Eine Zeile in der S(Q)-Beziehung ist ungültig.

- 'GLT: no gauge found in line #'
  In der GLT-Datei wurde ein Pegel erwartet, aber nicht gefunden.

- 'GLT: line # has not enough columns.'
  Eine Zeile in der Pegelgültigkeitsdatei hat nicht genug spalten.

- 'Error while parsing flow velocity values.'
- 'skip invalid data line: #'
  Invalide Datenzeile in einer Datei mit einer Fliessgeschwindigkeitsmessung.

- 'skip invalid waterlevel line: #'
- 'Error while parsing value: #'
- 'Error while parsing station: #'
  Invalide Datenzeile in einer Datei mit Wasserstandsdifferenzen.

- 'skip invalid MainValue part: #'
- 'skip invalid gauge part: #'
- 'Error while parsing Q value: <Q>'
- 'skip invalid data line: #'
- 'Error while parsing flow velocity values.'
  Invalide Datenzeile in einer Datei Fliessgeschwindigkeitsmodellen.

- 'Error while parsing number from data row: #'
  TODO INGO

- 'Unknown meta line: #'
- 'Error while parsing numbers in: #'
- 'skip invalid data line: #'
- 'Error while parsing numbers in #'
  Invalide Datenzeile in einer Datei mit Sedimentdichten.

- 'STA file is empty'
- 'STA file has not enough lines'
- 'STA file is too short'
  Stammdatendatei ist leer oder hat zu wenige Zeilen.

- 'First line in STA file is too short.'
  Die erste Zeile der Stammdaten ist zu kurz.

- 'STA: second line is too short'
  Die zweite Zeile ist zu kurz.

- 'STA: parsing of the datum of the gauge failed'

- 'STA: 'XYZ' is not a valid long number.'
  Die Pegelnummer ist invalide.

- 'STA: Not enough columns for aeo and datum.
  AEO und Pegelnullpunkt können nicht ermittelt werden.

- 'STA: cannot parse aeo or datum.'
  AEO oder Pegelnullpunkt sind invalide.

- 'STA: value not parseable in line #'
  Wert ist nicht als Zahl zu interpretieren.
  
- 'PRF: cannot open file <FILE>'
  Die PRF kann nicht geöffnet werden.

- PRF: file is empty
- PRF: First line does not look like a PRF data pattern.
- PRF: premature EOF. Expected integer in line 2
- PRF: Expected <num> in line 2
- PRF: invalid integer in line 2
- PRF: premature EOF. Expected pattern for km extraction
- PRF: line 4 does not look like a PRF km extraction pattern.
- PRF: premature EOF. Expected skip row count.
- PRF: line 5 is not an positive integer.
- PRF: cannot extract km in line #
  Das PRF-Format ist komplex. Hier sollten weitere Information
  zur genaueren Analyse herangezogen werden.

- 'cannot access WST file <FILE>'
  Die WST-Datei konnte nicht gefunden werden.

- 'Found an invalid row in the AT file.'
  Eine Zeile in einer AT-Datei ist nicht korrekt.

- 'AT: invalid number <XYZ>'
  Eine Zahl wurde erwartet aber nicht gefunden.

Betrieb:
--------

    Der Speicherverbrauch des Importers ist sehr hoch. Es ist empfehlenswert,
    der JVM mindestens 8GiB Hauptspeicher zuzuordnen: '-Xmx8192m'
    Besonders speicherintensiv ist der Import der HYKs und der PRFs.
    Hier ist es unter Umständen empfehlenswert, diese in zwei oder drei
    Schritten zu importieren. Zuerst die sonstigen hydrologischen Daten
    (hierbei mit flys.backend.importer.skip.hyks=true und flys.backend.importer.skip.prfs
    den Import der HYKs und PRFs verhindern). Dann die HYKs (mit flys.backend.importer.skip.*
    der anderen Daten) und im finalen Schritt dann die PRFs.