dive4elements/river: backend/doc/documentation/de/importer-hydr-morph.tex comparison

comparison backend/doc/documentation/de/importer-hydr-morph.tex @ 8410:0ac11615a2a3

Whitespace cleanup and small addition regarding sediment load at measurement stations.

author	Tom Gottfried <tom@intevation.de>
date	Tue, 14 Oct 2014 19:21:33 +0200
parents	d86cc6a17b7a
children	8e1c9ce1c7c6

comparison

equal deleted inserted replaced

-:8ef11fad27a2
+:0ac11615a2a3
 \begin{itemize}
 \item Lesen aller Daten eines Gewässers aus dem Dateisystem.
 \item Schreiben der erfolgreich eingelesenen Daten in die Datenbank.
 \end{itemize}
 Beim Import wird versucht, Datensätze nicht zu importieren,
 die bereits in der Datenbank vorhanden sind.
 Dies kann aber nicht immer eindeutig bestimmt werden,
 so dass vor dem Import geänderter Daten
 ein Löschen der entsprechenden Datensätze in der Datenbank notwendig sein kann,
 da sonst möglicherweise aus fachlicher Sicht Duplikate in der Datenbank vorhanden sind,
 geänderte Daten nicht importiert werden
 oder es zu unerwarteten Fehlern kommt.
 Sollte beim Lese- oder Schreib-Vorgang eines Gewässers ein Fehler auftreten, so
 werden sämtliche Daten des Gewässers verworfen. Beide Phasen zusammen bilden
 \label{import_data}
 In diesem Kapitel werden die verschiedenen Daten aufgelistet und erläutert, wie sie vom
 Importer eingelesen werden.
 \subsubsection{Wasserstandsmodell-Stammdaten und Höhenreferenz (Basis-*.wst-Datei)}
 Mit \textbf{-Dflys.backend.importer.skip.wst=true} kann der
 der Import von Wasserständen der Basis-*.wst-Datei unterdrückt werden.
 Aus der Basis-*.wst-Datei wird auch die Höhenreferenz und -einheit
 des Gewässers ausgelesen (z.B. 'NN + m'),
 sowie die Fließrichtung des Gewässers relativ zur Stationierung ermittelt.
 Der Import dieser Informationen in die Datenbank wird daher ebenfalls durch
 diese Option unterdrückt.
 Da es sich hierbei um Gewässer-Stammdaten handelt,
 kann diese Option erst genutzt werden, wenn sich das Gewässer bereits
 in der Datenbank befindet.
 \subsubsection{Pegel-Stammdaten (PEGEL.GLT, *.at und *.sta-Dateien)}
 Der Import von Pegel- und Stammdaten kann mit \textbf{'-Dflys.backend.importer.skip.gauges=true'}
 mit gültigen Typen von Stammdaten enthalten. Vorbelegt ist \textit{QWTD-}.
 \subsubsection{Streckenfavoriten (*.km-Dateien)}
 Der Import der Streckenfavoriten kann mit \textbf{-Dflys.backend.importer.skip.annotations=true}
 unterdrückt werden.
 Ausgehend vom Verzeichnis \textit{./Hydrologie} des Gewässers
 werden die Verzeichnisse \textit{./Basisdaten}, \textit{./Streckendaten}
 und \textit{../Morphologie/Streckendaten} nach *.km-Dateien durchsucht.
 Zur Klassifikation von Streckenfavoriten muss mittels\\
 \textbf{-Dflys.backend.importer.annotation.types=DATEI} der Pfad zu einer
 XML-Datei angegeben werden. In dieser Datei werden die Typen und Regeln
 festgelegt, anhand derer die Klassifikation während des Import-Vorgangs
 vorgenommen wird. Details hierzu befinden sich im Kapitel \ref{annotation-types}.
 \subsubsection{Bundeswasserstraßen-IDs}
 Der Import und die Zuweisung der Bundeswasserstraßen-IDs kann unterbunden werden
 mit \textbf{-Dflys.backend.importer.skip.bwastr=true}.
 Beim Import wird davon ausgegangen, dass sich die Datei \textbf{BWASTR\_ID.csv}
 neben der oder den zu importierenden gew-Dateien befindet.
 \subsubsection{Historische Abflusstafeln (*.at-Dateien)}
 Mit \textbf{'-Dflys.backend.importer.skip.historical.discharge.tables=true'}
 kann der Import von historischen Abflusstafeln
 unterdrückt werden. Diese Flagge wird nur ausgewertet, wenn überhaupt
 Pegel-Daten (siehe oben) importiert werden.
 % Mittels \textbf{-Dflys.backend.sta.parse.gauge.numbers=true} wird versucht, die
 % offiziellen Pegelnummern aus den Stammdaten zu extrahieren.
 % \textbf{Dies ist mit Vorsicht zu behandeln, denn die meisten STA-Dateien
 % enthalten invalide Pegelnummern.}
 \subsubsection{Zusätzliche Längsschnitte (*.zus, *.wst-Dateien)}
 Mit \textbf{-Dflys.backend.importer.skip.extra.wsts=true} kann
 der Import von zusätzlichen Längs\-schnitten
 unterdrückt werden. Es werden die *.zus- und *.wst-Dateien aus dem Verzeichnis
 \textit{../Zus.Längsschnitte} relativ zur
 \textit{gewaesser}.wst-Datei betrachtet.
 \subsubsection{Fixierungen (*.wst-Dateien)}
 Der Import von Fixierungen kann mit \textbf{-Dflys.backend.importer.skip.fixations=true}
 unterdrückt werden. Es werden die *.wst-Dateien aus
 \textit{../Fixierungen} relativ zur \textit{gewaesser}.wst-Datei betrachtet.
 \subsubsection{Amtliche Linien (*.wst-Dateien)}
 Der Import von amtlichen Linien kann mit \textbf{-Dflys.backend.importer.skip.official.lines=true}
 unterdrückt werden. Es werden die \textit{Amtl\_Linien.wst}-Dateien aus dem
 Verzeichnis \textit{../Basisdaten} und \textit{../Fixierungen} relativ zur
 \textit{gewaesser.wst}-Datei betrachtet.
 Für die Zuordnung zu den Hauptwerten wird zudem die Datei
 \textit{Amtl\_Linien.config} benötigt.
 \subsubsection{Profilspuren (*.prf-Dateien)}
 Der Import von Profilspuren kann mit \textbf{-Dflys.backend.importer.skip.prfs=true}
 unterdrückt werden. Es werden rekursiv alle *.prf-Dateien aus \textit{../../..}
 relativ zur gewaesser.wst-Datei betrachtet.
 Vor dem Import von Profilspuren werden mit Hilfe
 eines Längen- und eines MD5-Summen-Vergleichs inhaltliche Duplikate
 ausgeschlossen.
 \subsubsection{Profilspuren (*.csv-Dateien)}
 Der Import von CSV-Profilspuren kann mit
 \textbf{-Dflys.backend.importer.skip.w80.csvs=true}
 unterdrückt werden.
 Es werden rekursiv alle *.csv-Dateien aus
 \textit{./Geodaesie/Querprofile/QP-Daten} im Verzeichnis des
 Gewässers betrachtet.
 \subsubsection{Hydraulische Kennzahlen (*.hyk)}
 Der Import von hydraulischen Kennzahlen kann mit \textbf{-Dflys.backend.importer.skip.hyks=true} unterdrückt
 werden. Es werden rekursiv alle *.hyk-Dateien aus \textit{../../..} relativ zur
 unterdrückt werden. Es werden die *.zus- und *.wst-Dateien aus dem Verzeichnis
 \textit{../HW-Marken} relativ zur \textit{gewaesser}.wst-Datei betrachtet.
 \subsubsection{Hochwasserschutzanlagen (*.zus, *.wst)}
 Mit \textbf{-Dflys.backend.importer.skip.flood.protection=true}
 kann der Import von Hochwasserschutzanlagen
 unterdrückt werden. Es werden die *.zus- und *.wst-Dateien aus dem Verzeichnis
 \textit{../HW-Schutzanlagen} relativ zur \textit{gewaesser.wst}-Datei betrachtet.
 \subsubsection{Messstellen-Stammdaten}
 Mit \textbf{-Dflys.backend.importer.skip.measurement.stations=true}
 kann der Import von Messstellen-Stammdaten aus
 \textit{Morphologie/Basisdaten/Messstellen-Stammdaten.csv}
 unterdrückt werden.
 \subsubsection{Sohlhöhen (Peilungen)}
 Mit \textbf{-Dflys.backend.importer.skip.bed.height.single=true}
 kann der Import von Sohlhöhen-Peilungen unterdrückt werden.
 Es werden die CSV-Dateien aus dem Verzeichnis
 \textit{Morphologie/Sohlhoehen/Einzeljahre} geladen.
 \subsubsection{Sedimentdichte}
 Der Import der Sedimentdichte kann mit
 unterdrückt werden. Es werden die CSV-Dateien aus dem Verzeichnis
 \textit{Morphologie/Porositaet} geladen.
 \subsubsection{Morphologische Breite}
 Mit \textbf{-Dflys.backend.importer.skip.morphological.width=true}
 kann der Import der morphologischen Breite unterdrückt werden.
 Es werden alle CSV-Dateien aus dem Verzeichnis
 \textit{Morphologie/morphologische\_Breite} geladen.
 \subsubsection{Fließgeschwindigkeit}
 Der Import der Fließgeschwindigkeit kann mit
 Unterverzeichnissen \textit{Einzeljahre}, \textit{Epochen}
 und \textit{amtliche Epochen} entsprechend als
 \textit{Einzeljahre}, \textit{Epochen} und
 \textit{amtliche Epochen} gespeichert.
+Voraussetzung für den Import ist, dass die Messstellen-Stammdaten
+bereits importiert sind.
 \subsubsection{Sedimentfracht (Längsschnitt-Daten)}
 Mit
 \textbf{-Dflys.backend.importer.skip.sediment.load.ls=true}
 kann der Import der Längsschnitt-Daten (auf freier Strecke)
 der Sedimentfracht unterdrückt werden.
 Es werden die CSV-Dateien aus dem Verzeichnis
 \textit{Morphologie/Fracht/Laengsschnitte} geladen.
 Dabei werden die Dateien aus den
 Unterverzeichnissen \textit{Einzeljahre}, \textit{Epochen}
 und \textit{amtliche Epochen} entsprechend als
 \textit{Einzeljahre}, \textit{Epochen} und
 \textit{amtliche Epochen} gespeichert.
 \subsubsection{Wasserspiegellagen für M-INFO}
 Mit \textbf{-Dflys.backend.importer.skip.waterlevels=true}
 kann der Import der für M-INFO spezifischen Wasserspiegellagen
 unterdrückt werden. Es werden die CSV-Dateien aus dem Verzeichnis
 \textit{Morphologie/Fixierungsanalyse/Wasserspiegellagen} geladen.
 \subsubsection{Wasserspiegeldifferenzen für M-INFO}
 Mit \textbf{-Dflys.backend.importer.skip.waterlevel.differences=true}
 kann der Import der für M-INFO spezifischen Wasserspiegeldifferenzen
 unterdrückt werden. Es werden die CSV-Dateien aus dem Verzeichnis
 \textit{Morphologie/Fixierungsanalyse/Wasserspiegeldifferenzen} geladen.
 \subsubsection{Transport Abfluss Beziehung}
 Mit \textbf{flys.backend.importer.skip.sq.relation=true}
 kann der Import der Daten für die Transport Abfluss Beziehung
 unterdrückt werden. Es werden die CSV-Dateien unter
 \textit{Feststofftransport-Abfluss-Beziehung} geladen.
 \subsection{Klassifikation von Streckenfavoriten}
 \\Der Hibernate-Dialekt, den die Datenbank versteht. Im Falle einer Oracle-XE
 wäre dies z.B.: \textit{org.hibernate.dialect.OracleDialect}.
 Weitere Details zum Verbinden zu einer Oracle Datenbank finden Sie unter\\
 \href{http://www.orafaq.com/wiki/JDBC}{http://www.orafaq.com/wiki/JDBC}.
 Alle weiteren Einstellungen sind optional anpassbar:
 \textbf{LOG4J\_CONFIG}
 \\Der Fachdatenimport verwendet die externe Bibliothek \textit{Apache Log4J} zum Loggen
 \\Falls \textit{true} gesetzt wird, wird der Import nur simuliert. Es werden
 keine Daten in die Datenbank geschrieben. Die Log-Dateien können dann verwendet werden, um Fehler in den Daten vor dem Schreiben in die
 Datenbank zu ermitteln.
 Die weiteren Optionen haben selbsterklärende Namen und
 entsprechen je einer System-Property,
 die in Kapitel \ref{import_data} bereits erläutert wurde.
 \subsection{Fehler und Warnungen}
 Selbsterklärende Meldungen sind hier nicht alle aufgeführt.
 \textbf{error while parsing gew}
 \\Die GEW-Datei ist fehlerhaft oder konnte nicht geöffnet werden.
 \textbf{River not yet in database. You cannot skip importing waterlevel model.}
 \\\textbf{-Dflys.backend.importer.skip.wst=true} wurde verwendet,
 obwohl sich das Gewässer noch nicht in der Datenbank befindet
 (siehe Kapitel \ref{import_data}).
 \textbf{WST: Stations in 'XYZ' near line \# not ordered. File rejected.}
 \\Die Stationen in einer WST-Datei sind nicht konsequent auf- oder
 absteigend geordnet. Die Datei wird verworfen.
 \textbf{File 'XYZ' is broken!}
 \\Die Datei XYZ ist inkonsistent und führt zu Fehlern.
 \textbf{Null Start time will be ignored}
 \\Für ein Zeitintervall wurde keine Anfangszeit gegeben.
 \textbf{Skipping malformed w80csv line \#}
 \\Die genannte Zeile einer QP-Daten-CSV-Datei wurde verworfen
 (z.B.\ weil keine Höhe gegeben war).
 \subsubsection{Warnungen}
 \textbf{No unit given. Waterlevel-model WST-file has to be imported already.}
 \\Es wird keine Höhenreferenz mit dazugehöriger Einheit importiert.
 Dies ist nur möglich, wenn sich die Gewässer-Stammdaten bereits
 in der Datenbank befinden (siehe Kapitel \ref{import_data}).
 \textbf{no unit and height reference found. Using default.}
 \\Aus einer WST-Datei konnte keine Höhenreferenz
 mit dazugehöriger Einheit ausgelesen werden.
 Als Default wird 'm ü. unbekannte Referenz' verwendet.
 Dies hat nur im Falle der Basis-WST-Datei einen Einfluss auf den Import.
 \textbf{annotation type file 'XYZ' is not readable.}
 \\Die Datein XYZ kann nicht gelesen werden.
 \textbf{cannot read gauges from 'XYZ'}
 \\Die Pegelgültigkeiten können nicht gelesen werden.
 \textbf{'XYZ' does not exist. Gauge ignored.}
 \\Ein in PEGEL.GLT gegebener Pegel wird ignoriert,
 weil die gegebene *.sta- oder *.at-Datei nicht vorhanden ist.
 \textbf{HYK file 'XYZ' seems to be a duplicate.}
 \\Die HYK-Datei wurde unter anderem Namen aber gleichen Inhalts bereits
 gefunden.
 \textbf{BHP: Could not parse sounding width in line '...'. -$>$ Set default value '0'}
 \\Peilbreite in gegebener Zeile wurde nicht als gültige Zahl erkannt. Setze 0.
 \textbf{Unparseable number in data row: \#}
 \\In der gegebenen Zeile wurde eine Zahl erwartet,
 es konnte aber an entsprechender Stelle nichts als solche gelesen werden.
 \textbf{MWP: Unknown meta line: \#}
 \\Meta-Informationen unbekannt. Werden ignoriert.
 Zusätzlich kann die Datei eine Zeile beginnend mit \textit{uuid:}
 enthalten. Dahinter kann eine
 UUID\footnote{\url{http://de.wikipedia.org/wiki/UUID}} stehen,
 die als eindeutiger Bezeichner des Datensatzes verwendet wird
 (derzeit für die Zuordnung der Darstellung von Gewässern in der
 interaktiven Einstiegskarte zu Datensätzen in der Datenbank).
 Nachdem der Prompt der Konsole zurückkehrt, ist der Import abgeschlossen oder es
 ist ein Fehler aufgetreten. Weitere Informationen entnehmen Sie der Log-Datei.
 Um einen Gewässerdatensatz in einem Durchlauf (inkl.\ Geodaten)
 zu importieren, kann auch das Skript \textit{import\_river.sh} verwendet werden.
 Details zur Verwendung erhalten Sie auf der Kommandozeile mit
 \begin{lstlisting}
 ./import_river.sh --help
 \end{lstlisting}
 Alternativ können auch in diesem Skript einige Variablen
 (\textit{DEFAULT\_*}) angepasst werden.
 Das Logging kann in diesem Fall nicht wie oben beschrieben
 über \textit{conf/log4j.properties} angepasst werden, da hier
 mehrere Log-Dateien geschrieben werden müssen.

Mercurial > dive4elements > river

comparison backend/doc/documentation/de/importer-hydr-morph.tex @ 8410:0ac11615a2a3