ETL/ELT
ETL steht kurz für Extract (von Daten aus verschiedenen Quellen), Transform (von Daten in das Format des Zielsystems) und Load (Laden der Daten in das Zielsystem) und ELT entsprechend für Extract, Load und Transform.
Mit Hilfe dieses Zusatzmoduls können große Datenmengen verschoben (und transformiert) werden, z. B. von Datenbank zu Datenbank, CSV zu Datenbank oder Datenbank zu CSV. Einen großen Vorteil bietet z. B. das Einlesen und Verarbeiten von extrem großen CSV-Dateien, die im Speicher sonst nicht komplett einlesbar sind. Die Verarbeitung von extrem großen Datensätzen kann zudem zur Ressourcenschonung des Hauptsystems auf einen anderen Server ausgelagert werden.
Dieses Modul ist momentan nur als Beta-Version erhältlich. Die folgende Dokumentation ist lediglich ein grober Überblick über das Modul. Zu einem späteren Zeitpunkt werden wir ein Buch zu diesem Thema zur Verfügung stellen und auch diese Dokumentation hier erweitern.
Benutzer-Rechte
Zur Verwendung des Moduls ETL/ELT müssen dem Lobster_data-Benutzer die Benutzer-Rechte ETL/ELT und ETL/ELT verwalten zugeteilt werden.
Übersicht
In der Übersicht finden Sie alle angelegten ETL/ELT-Einträge.
Bevor Sie einen ETL/ELT-Eintrag anlegen können, müssen Sie über das Kontextmenü eine neue Gruppe erstellen. Innerhalb einer Gruppe können Sie dann Einträge anlegen, duplizieren, ansehen, im Modul Data Flow betrachten, bearbeiten, löschen, importieren/exportieren und ausführen bzw. einen Testlauf starten.
(1) Neuen Eintrag erstellen.
(2) Vergleicht den ETL/ELT-Eintrag mit einem anderen ETL/ELT-Eintrag. Als Ergebnis bekommt man eine Diff-Datei mit den Unterschieden.
(3) Expertensuche.
(4) Liefert die wichtigsten Informationen zum ETL/ELT-Eintrag (Quelldaten, Zieldaten), eine Diagrammansicht und eine XML-Debug-Datei (gibt Auskunft über die Ausführung der Aktionen der ETL/ELT-Tasks).
(5) Der Eintrag wird in einem weiteren Browser-Tab geöffnet. Achtung: Ihr Browser könnte das als unerlaubtes Popup blockieren. Überprüfen Sie gegebenenfalls Ihre Browsereinstellungen.
ETL/ELT-Eintrag
Zur Konfiguration eines ETL/ELT-Eintrags stehen folgende Bereiche zur Verfügung.
Externer und automatischer Zugriff auf ETL/ELT-Einträge
ETL/ELT-Einträge können auch per Zeitsteuerung, über ETL/ELT-Funktionen in einem Profil, per REST oder aus dem Modul Workflow heraus gestartet werden.