Einstellungen

(1) Dateiordner: In diesem Verzeichnis wird nach Dateien gesucht (nicht rekursiv). Es kann auch eine URL angegeben werden. Beispiel: "https://example.com/path".

(2) Icon rechts von (1): Auswahl von ETL/ELT-Variablen.

(3) Dateifilter: Hier können Sie die Dateien aufgrund ihres Namens filtern. Beispiel: *.txt liefert alle Dateien mit der Dateiendung .txt. Mit dem Präfix regex: können Sie reguläre Ausdrücke zum Filtern verwenden. Lassen Sie das Feld frei oder verwenden Sie den Ausdruck *.*, um alle Dateien zurückzugeben.

(4) Sortierung: Sortierung der gefundenen Dateien nach Dateiname oder Änderungsdatum. Aufsteigend oder absteigend.

(5) Abfrage/Einstellungen testen: Testabfrage, die eine Liste von Dateien liefert.

(6) ETL Feld Dateiname (Beispiel: "$FILENAME"), ETL Feld Pfad und Dateiname (Beispiel: "$PATH_AND_FILE"): Mit diesen ETL/ELT-Feldern lassen sich in den Zieldaten oder in Untertasks die einzelnen Dateinamen auslesen. Mehr dazu im folgenden Abschnitt.

Ablauf

Es wird Ihnen aus dem angegebenem Dateiordner (je nach Einstellung) eine Liste von Dateien erstellt. Jeder Dateiname entspricht dabei einer Datenzeile.

Diese Datenzeilen können Sie entweder, wie gewohnt, in den Zieldaten verarbeiten. Der Zugriff erfolgt über die in (6) definierten ETL/ELT-Felder.

Eine alternative Möglichkeit ist die Verarbeitung der Dateien in einem Untertask. Im ersten Task werden also alle Dateien ausgelesen, im Untertask verarbeiten Sie dann eine Datei nach der anderen. Verwenden Sie im Untertask dazu zur Angabe des Dateinamens eines der ETL/ELT-Felder aus (6). Beispiel: "./webapps/root/upload/myfiles/$FILENAME".

Praxisbeispiel

Ein praktisches Beispiel zu einem Bulk-Insert von einer Datei in eine Datenbank, finden Sie hier.