view backend/doc/documentation/de/overview.tex @ 8835:d8d71005a210

ETL: use Java 7, include run-script and docs when packaging. Changes to bin/run.sh might have been avoidable, but at least its more in line with artifacts now.
author Tom Gottfried <tom@intevation.de>
date Wed, 17 May 2017 16:11:04 +0200
parents 4a13535ed949
children b880a8adc2b2
line wrap: on
line source
\section{�bersicht}

Diese Dokumentation beschreibt die von Intevation entwickelten Werkzeuge zum
Importieren der hydrologischen, morphologischen und geod�tischen Daten der BfG.
Die im Folgenden beschriebenen Werkzeuge zum Importieren der Daten sind speziell auf das Verzeichnissystem der BfG ausgerichtet.
Dabei wird angenommen, dass sich das Verzeichnis eines Gew�ssers auf oberster
Ebene in drei Unterverzeichnisse aufgliedert:

\begin{itemize}
    \item Geodaesie
    \item Hydrologie
    \item Morphologie
\end{itemize}

Desweiteren beziehen sich die Befehle, die auf der Kommandozeile abgesetzt
werden, auf ein SuSE-Linux-Enterprise-Server Version 11. Bitte beachten Sie
auch, dass einige der Befehle \textit{root}-Rechte ben�tigen.

\subsection{Vorbereitungen}

\subsubsection{Entpacken des Datenimporters}

Damit die Software performant und korrekt ausgef�hrt werden kann, ist es
erforderlich, dass sie auf dem selben System wie die Datenbank installiert
und ausgef�hrt wird.
Sollten Sie das Paket nicht auf dem
Zielsystem selbst heruntergeladen haben, sind ggf. weitere Werkzeuge notwendig.
Wenn Sie von einem Windows System auf das Zielsystem zugreifen
wollen, k�nnen Sie beispielsweise folgende Werkzeuge verwenden:

\begin{itemize}
\item WinSCP \\
WinSCP ist ein Open Source Werkzeug zum Transferieren von Dateien zwischen zwei
Systemen. Um das heruntergeladene Paket auf das Zielsystem zu transferieren,
k�nnen Sie WinSCP benutzen. F�r weitere Informationen und den Gebrauch von
WinSCP lesen Sie bitte unter folgender Adresse nach:
\href{http://winscp.net/}{http://winscp.net/}.

\item Putty \\
Putty ist ein Open Source Werkzeug, mit dem Sie sich von einem Windows System
per SSH auf das Zielsystem verbinden k�nnen. Anschlie�end k�nnen Sie �ber die
Kommandozeile auf dem Zielsystem die Befehle, die in diesem Dokument beschrieben
sind, ausf�hren. F�r weitere Informationen zu Putty und dessen Gebrauch lesen
Sie bitte unter folgender Adresse nach: \href{http://www.putty.org/}
{http://www.putty.org/}.
\end{itemize}

Bitte beachten Sie, dass diese Werkzeuge nicht zur Installtion und zum Betrieb
der Software selbst notwendig sind!

\subsection{Systemanforderungen}
\label{Systemanforderungen}
\begin{itemize}
  \item Oracle- oder PosgreSQL-Datenbank bzw. entsprechende Client-Bibliotheken
    inkl. Schema f�r FLYS
  \item Java, Python, GDAL 1.11 (mit GDAL-Python-API)
\end{itemize}

\subsection{Installationsanleitung}
\label{Installationsanleitung}

Nachdem Sie das Paket nun in das Heimatverzeichnis des Nutzers auf das
Zielsystem kopiert haben, entpacken Sie es mit folgenden Befehlen:

\begin{lstlisting}
    cd ~
    tar xvfz flys-importer.tar.gz
    cd flys-importer
\end{lstlisting}


\subsubsection{Vorbereiten einer Oracle-Datenbank}
Bevor die Importer verwendet werden k�nnen, ist es notwendig, dass eine leere
Oracle Datenbank vorhanden ist. Anschlie�end m�ssen folgende SQL-Skripte in
diese Datenbank eingespielt werden:

\begin{enumerate}
\item oracle.sql \\
In diesem SQL Skript befindet sich das Schema zum Speichern der hydrologischen
Daten.

\item oracle-minfo.sql \\
In diesem SQL Skript befindet sich das Schema zum Speichern der morphologischen
Daten.

\item oracle-spatial.sql \\
In diesem SQL Skript befindet sich das Schema zum Speichern der geod�tischen
Daten.

\item oracle-spatial\_idx.sql \\
Mittels diesem SQL Skript werden die Indizes zum geod�tischen Datenbankschema\\
hinzugef�gt.

\end{enumerate}

Zum Einspielen dieser Schemata setzen Sie folgende Befehle auf der Kommandozeile
ab. Beachten Sie, dass $sqlplus$ im Pfad liegen muss, und der Linux-Nutzer
dieses Kommando ausf�hren k�nnen muss. Au�erdem sind $benutzername$ und $passwort$
entsprechend Ihres Datenbank-Zugangs anzupassen.

Damit alle in den UTF8-codierten SQL-Skripten vorhandenen Zeichen (also z.B.\
auch Umlaute) korrekt in die Datenbank eingelesen werden k�nnen, f�hren
Sie folgenden Befehl aus:

\begin{lstlisting}
export NLS_LANG=.AL32UTF8
\end{lstlisting}

Nun verbinden Sie sich mit der Datenbank
\begin{lstlisting}
    sqlplus user/password@connect_identifier
\end{lstlisting}

und erstellen das Schema:

\begin{lstlisting}
    @schema/oracle.sql
    @schema/oracle-minfo.sql
    @schema/oracle-spatial.sql
    @schema/oracle-spatial_idx.sql
\end{lstlisting}

Hierbei ist
\begin{lstlisting}
user/password@connect_identifier
\end{lstlisting}
so etwas wie
\begin{lstlisting}
ICH/geheim@127.0.0.1:1234/DB.TEST.FIRMA.DE
\end{lstlisting}

Um sqlplus zu verlassen verwenden Sie
\begin{lstlisting}
exit
\end{lstlisting}

http://dive4elements.wald.intevation.org