Basis-Daten (ETL/ELT)

(1) Zu lesende Dateien in Kind-Tasks, die kleiner als die angegebene Größe sind, werden im Speicher gehalten (und nicht auf der Festplatte). Hinweis: Wenn Sie genügend Speicher haben, ist diese Variante schneller. Ist Ihr Speicher nicht groß genug, riskieren Sie einen Speicherüberlauf.

(2) Legt fest, welche Informationen geloggt werden.

(3) Die Abarbeitung des ETL/ELT-Eintrags kann lokal oder auf einem entfernten Server (zur Ressourcenschonung) stattfinden.

Wichtiger Hinweis:

Dateien, die der Remote-Server abarbeiten soll, müssen auch auf dem Remote-Server liegen und die Pfade im ETL/ELT-Eintrag müssen entsprechend denen des Remote-Servers sein. Liegt die Datei z. B. remote unter /opt/input/Datei.csv und lokal unter /opt/Lobster/Lobster_data/webapps/root/upload/Datei.csv, dann muss im ETL/ELT-Eintrag als Eingangsquelle der Pfad /opt/input/Datei.csv angegeben sein.

Ebenso werden Zieldateien auf dem Remote-Server hinterlegt.

D. h. man muss entweder die Ordner des Remote-Servers auf dem _data mounten, oder umgekehrt, damit man die Dateien direkt weiterverarbeiten kann. Alternativ kann die Verteilung der Dateien auch mit Profilen organisiert werden (z. B. in Workflows).

Wenn man im ETL/ELT-Eintrag Datenbanken verwendet, muss auf dem Remote-Server ebenfalls Zugriff auf diese vorhanden sein. D. h. man muss die die Konfigurationsdatei ./etc/database.xml der verwendeten Lobster Bee anpassen.

(4) Falls gesetzt, können nicht mehrere Instanzen dieses ETL/ELT-Eintrags gleichzeitig laufen. Wenn also bereits ein Job für diesen Eintrag läuft, können Sie keinen weiteren starten.

(5) Beim Wählen dieser Checkbox werden eingelesene NULL-Werte in Funktionsketten nicht durch einen leeren String ersetzt.

(6) ETL/ELT-Felder können in einer Zwischenablage gehalten werden. Wird diese Checkbox gesetzt, wird die Zwischenlage in einer Datei gehalten und nicht im Speicher. Hinweis: Wenn Sie genügend Speicher haben, ist diese Variante schneller. Ist Ihr Speicher nicht groß genug, riskieren Sie einen Speicherüberlauf.

(7) In diesem Feld lässt sich eine beliebige URL angeben, die auf eine Dokumentation dieses ETL/ELT-Eintrags verweist. Über den Pfeil kann diese aufgerufen werden. Zusätzlich können System-Konstanten in die URL eingefügt werden.

(8) Hier können Sie den Such-Index des ETL/ELT-Eintrags anzeigen. Diese Werte können in der Expertensuche abgefragt werden.