ETL/ELT Pipelines

Mit Hilfe dieses Zusatzmoduls können große Datenmengen performant verschoben (und transformiert) werden, z. B. von Datenbank zu Datenbank, CSV zu Datenbank oder Datenbank zu CSV. Die Verarbeitung von extrem großen Datensätzen kann zudem zur Ressourcenschonung des Hauptsystems auf einen anderen Server ausgelagert werden.

Beispiele


Starten Sie, wenn Sie sich diese Seite hier durchgelesen haben, am besten direkt mit den Beispielen. Das ist der einfachste Einstieg, ohne sich in den Details dieses mächtigen Moduls zu verlieren. Dort beginnen wir mit den einfachsten Anwendungsfällen und arbeiten uns Schritt für Schritt durch die anspruchsvolleren Funktionalitäten. Detail-Einstellungen können Sie dann später gezielt nachlesen.

Benutzer-Rechte


Zur Verwendung des Moduls müssen die Benutzer-Rechte "ETL/ELT" und "ETL/ELT verwalten" zugeteilt werden.

Übersicht


In der Übersicht finden Sie alle angelegten ETL/ELT-Pipelines.

Bevor Sie eine ETL/ELT-Pipeline anlegen können, müssen Sie über das Kontextmenü eine neue Gruppe erstellen. Innerhalb einer Gruppe können Sie dann Pipelines anlegen, duplizieren, ansehen, im Modul Data Flow betrachten, bearbeiten, löschen, importieren/exportieren und ausführen bzw. einen Testlauf starten.

Einstellungen


(1) Plus-Icon: Neue Pipeline erstellen.

(2) Kontextmenü einer ETL/ELT-Pipeline (selbsterklärende Optionen sind nicht gelistet):

Vergleichen (Diff) mit

Vergleicht die ETL/ELT-Pipeline-Konfiguration mit einer anderen ETL/ELT-Pipeline-Konfiguration (es kann auch mit einer importierten ETL/ELT-Pipeline verglichen werden) . Als Ergebnis bekommt man eine Diff-Datei mit den Unterschieden.

Schnellansicht

Liefert die wichtigsten Informationen zur ETL/ELT-Pipeline (Quelldaten, Zieldaten), eine Diagrammansicht und eine XML-Debug-Datei (gibt Auskunft über die Ausführung der Aktionen der ETL/ELT-Tasks).

In neuem Fenster öffnen

Die Pipeline wird in einem weiteren Browser-Tab geöffnet. Achtung: Ihr Browser könnte das als unerlaubtes Popup blockieren. Überprüfen Sie gegebenenfalls Ihre Browsereinstellungen.

In Verwendung von

Zeigt an, wo die ETL/ELT-Pipeline verwendet wird, also z. B. in einem Workflow.

Eintrag exportieren/importieren

Das Format ist ein signiertes XML, deshalb ist bei einer Änderung der Datei ein Import nicht mehr möglich. Hinweis : Alte .obj -Dateien können weiterhin importiert werden.

Hinweis: Wir stellen auch einen Transport Manager zur Verfügung.

(3) Expertensuche : Siehe Abschnitt "Expertensuche".

(4) Darstellung: Zwei Ansichten geordnet in Gruppen und eine Kachelansicht (ohne Gruppen). In der Kachelansicht werden Bilder angezeigt, die in den jeweiligen Einträgen zugeordnet wurden.

(5) Auswahl rechts oben: Der ausgewählte Mandant.

ETL/ELT-Pipeline


Zur Konfiguration einer ETL/ELT-Pipeline stehen folgende Bereiche zur Verfügung.


Logs und laufende Jobs


Logs zu abgeschlossenen ETL/ELT-Pipelines finden Sie auf der Seite ETL/ELT-Logs.

Laufende ETL/ELT-Pipelines werden angezeigt auf der Seite Aktive ETL/ELT.

Externer und automatischer Zugriff auf ETL/ELT-Pipelines


ETL/ELT-Pipelines können, neben dem manuellen Start, auch per Zeitsteuerung, über ETL/ELT-Funktionen in einem Profil, per REST oder aus dem Modul Workflow heraus gestartet werden.