ETL/ELT Pipelines
Mit Hilfe dieses Zusatzmoduls können große Datenmengen performant verschoben (und transformiert) werden, z. B. von Datenbank zu Datenbank, CSV zu Datenbank oder Datenbank zu CSV. Die Verarbeitung von extrem großen Datensätzen kann zudem zur Ressourcenschonung des Hauptsystems auf einen anderen Server ausgelagert werden.
Beispiele
Starten Sie, wenn Sie sich diese Seite hier durchgelesen haben, am besten direkt mit den Beispielen. Das ist der einfachste Einstieg, ohne sich in den Details dieses mächtigen Moduls zu verlieren. Dort beginnen wir mit den einfachsten Anwendungsfällen und arbeiten uns Schritt für Schritt durch die anspruchsvolleren Funktionalitäten. Detail-Einstellungen können Sie dann später gezielt nachlesen.
Benutzer-Rechte
Zur Verwendung des Moduls müssen die Benutzer-Rechte "ETL/ELT" und "ETL/ELT verwalten" zugeteilt werden.
Übersicht
In der Übersicht finden Sie alle angelegten ETL/ELT-Pipelines.
Bevor Sie eine ETL/ELT-Pipeline anlegen können, müssen Sie über das Kontextmenü eine neue Gruppe erstellen. Innerhalb einer Gruppe können Sie dann Pipelines anlegen, duplizieren, ansehen, im Modul Data Flow betrachten, bearbeiten, löschen, importieren/exportieren und ausführen bzw. einen Testlauf starten.
Einstellungen
(1) Plus-Icon: Neue Pipeline erstellen.
(2) Kontextmenü einer ETL/ELT-Pipeline (selbsterklärende Optionen sind nicht gelistet):
Vergleichen (Diff) mit |
Vergleicht die ETL/ELT-Pipeline-Konfiguration mit einer anderen ETL/ELT-Pipeline-Konfiguration (es kann auch mit einer importierten ETL/ELT-Pipeline verglichen werden) . Als Ergebnis bekommt man eine Diff-Datei mit den Unterschieden. |
Schnellansicht |
Liefert die wichtigsten Informationen zur ETL/ELT-Pipeline (Quelldaten, Zieldaten), eine Diagrammansicht und eine XML-Debug-Datei (gibt Auskunft über die Ausführung der Aktionen der ETL/ELT-Tasks). |
In neuem Fenster öffnen |
Die Pipeline wird in einem weiteren Browser-Tab geöffnet. Achtung: Ihr Browser könnte das als unerlaubtes Popup blockieren. Überprüfen Sie gegebenenfalls Ihre Browsereinstellungen. |
In Verwendung von |
Zeigt an, wo die ETL/ELT-Pipeline verwendet wird, also z. B. in einem Workflow. |
Eintrag exportieren/importieren |
Das Format ist ein signiertes XML, deshalb ist bei einer Änderung der Datei ein Import nicht mehr möglich. Hinweis : Alte .obj -Dateien können weiterhin importiert werden. Hinweis: Wir stellen auch einen Transport Manager zur Verfügung. |
(3) Expertensuche : Siehe Abschnitt "Expertensuche".
(4) Darstellung: Zwei Ansichten geordnet in Gruppen und eine Kachelansicht (ohne Gruppen). In der Kachelansicht werden Bilder angezeigt, die in den jeweiligen Einträgen zugeordnet wurden.
(5) Auswahl rechts oben: Der ausgewählte Mandant.
ETL/ELT-Pipeline
Zur Konfiguration einer ETL/ELT-Pipeline stehen folgende Bereiche zur Verfügung.
Logs und laufende Jobs
Logs zu abgeschlossenen ETL/ELT-Pipelines finden Sie auf der Seite ETL/ELT-Logs.
Laufende ETL/ELT-Pipelines werden angezeigt auf der Seite Aktive ETL/ELT.
Externer und automatischer Zugriff auf ETL/ELT-Pipelines
ETL/ELT-Pipelines können, neben dem manuellen Start, auch per Zeitsteuerung, über ETL/ELT-Funktionen in einem Profil, per REST oder aus dem Modul Workflow heraus gestartet werden.