Was ist ein Data Warehouse?
Data Warehouse bezeichnet eine IT-Applikation, die Daten aus mehreren operativen IT-Systemen eines Unternehmens, einer Unternehmensgruppe oder allgemein einer Organisation an zentraler Stelle sammelt und so strukturiert, dass diese Informationen gezielt für Analysen genutzt werden können.
Die Auswertungsaktivitäten beim Data Warehousing werden allgemein als Business Intelligence (BI) bezeichnet. Neben der reinen Übersicht eines aktuellen Datenbestands ist in der Regel auch der Vergleich zum Vorjahr oder einem längeren Zeitraum aufschlussreich – mit der Möglichkeit, Entwicklungen rechtzeitig zu erkennen und zuverlässige Prognosen zu erstellen.
Wie funktioniert ein Data Warehouse?
Die wichtigste Komponente beim Data Warehousing ist eine leistungsfähige Datenbank. Allerdings erfolgt die Integration der relevanten Daten eines Unternehmens dort in einer besonderen Struktur: Im Fokus steht nicht wie bei den meisten Systemen die optimale Unterstützung einzelner Transaktionen (On-Line Transactional Processing, OLTP), sondern das Verdichten oder Aggregieren zu Aufbereitungs-Zwecken (On Line Analytical Processing, OLAP).
Zur Abgrenzung: Das Verdichten unterscheidet die Data-Warehouse-Architektur von der Data-Lake-Architektur. Beim Data Lake werden digitalisierte Informationen ebenfalls zentral abgelegt, jedoch in ihrem Originalformat. Der Begriff Big Data wiederum beschreibt einen explorativen Ansatz, um aus großen Datenmengen neue Erkenntnisse abzuleiten. Dazu können sowohl Data Warehouses wie auch Data Lakes verwendet werden.
Die für BI-Auswertungen erforderlichen Daten lassen sich aufgrund ihrer schieren Menge an Datenpunkten nicht ad hoc kalkulieren. Dazu müssten Durchschnittswerte im Bruchteil einer Sekunde aus Hunderttausenden oder Millionen von Datensätzen berechnet werden. Es ist daher sinnvoll, spezielle Datenstrukturen anzulegen, die zum gewünschten Termin zeitnah – also zum Tages- oder Jahresabschluss, wöchentlich, monatlich, quartalsweise oder wann auch immer – mit berechneten Daten beladen werden.
Klassisch unterscheidet die Business Intelligence zwei Datengruppen, die sich in ihrer Anwendung ergänzen: Kennzahlen (oder Fakten) und Dimensionen.
Kennzahlen bezeichnen einen Wert, der zu Berechnungen herangezogen wird. Dies betrifft nicht alle Zahlen. Hausnummern beispielsweise sind normalerweise keine Kennzahlen. Auch Kundennummern fallen nicht unter Kennzahlen. Es sei denn, sie werden für Aggregationen oder für anderweitige Berechnungen verwendet.
Dimensionen wiederum beschreiben Kennzahlen. Hierzu gehören alle nicht berechneten Werte wie Namen, Adressen oder weitere fachliche Objekte.
Die wichtigste Datenstruktur eines BI-Systems ist das Stern-Schema (Star-Scheme oder kurz Star): Es besteht aus einer zentralen Kennzahlen-Tabelle, um die sich unterschiedliche Dimensionstabellen gruppieren wie die Strahlen eines Sterns.
In Dimensions-Tabellen werden vor allem Stammdaten abgelegt, die sich in der Regel nicht oder nur selten verändern. Sollten Dimensionen dennoch einmal grundlegend modifiziert werden, bedarf es einer speziellen Archivierung (Historisierung), auf die im Rahmen dieser Beschreibung allerdings nicht näher eingegangen werden soll.
Die Kennzahlen-Tabelle bildet den Kern der Datenmodellierung. Dort lagern vor allem Referenzschlüssel und aggregierte Kennzahlen. Die Struktur der Tabelle sollte möglichst schlank bleiben, mit einer begrenzten Menge an Schlüsseln und Datenfeldern. Die Anzahl der Datensätze kann jedoch schnell anwachsen.
Die klassische Methode der Datenaufbereitung für die Auswertung großer Datenmengen nennt sich – wie schon eingangs beschrieben – On Line Analytical Processing (OLAP) und verwendet als grundlegende Datenstruktur einen Datenwürfel, den sog. OLAP-Cube.
Der Datenwürfel ist eine abstrakte Form, um Kennzahlen und Dimensionen in leicht verständlicher Anordnung anzuzeigen. Denn die Daten einer Star-Datenstruktur lassen sich gedanklich eben am besten als Datenwürfel darstellen und ermöglichen so, aufgrund vorgewählter Einstellungen, selbst bei komplexen, vertiefenden Analysen ein intuitives Vorgehen.
Die Seiten des Würfels visualisieren hierbei die Dimensionen, die zentralen Tabellenfelder hingegen die Kennzahlen. Eine Pivot-Tabelle entspricht also dem frontalen Blick auf eine Würfelseite.
Der Datenwürfel ist geeignet, das konkrete Vorgehen bei Datenanalysen (Business Intelligence) besser nachvollziehen zu können. Man spricht von Methoden wie Rotation bzw. Pivoting, Slicing und Dicing bzw. Drill-down sowie Drill-up bzw. Roll-up, je nachdem in welche Richtung der Datenbestand analysiert wird.
Paint Points ohne Data Warehouse.
Dezentrale Datenintegration und Datensilos
Moderne Unternehmen nutzen in aller Regel eine größere Zahl von IT-Systemen zur Unterstützung ihrer operativen Abläufe. Fast jedes davon verfügt über eine eigene Datenbank. Übergreifende Auswertungen werden erst dann sinnvoll möglich, nachdem alle Daten zentral gesammelt und für die übergreifende Auswertung verdichtet wurden. Diese Anforderungen gewährleistet Data Warehousing.
Limiterter Datenzugang
Für tiefgreifende Datenanalysen reicht der Zugriff auf die transaktionalen Datensätze oft nicht aus. Denn die zu beantwortenden Fragen beziehen sich nicht auf einzelne Transaktionen, etwa „Wann wurde die Sendung 4711 zugestellt?“. Sondern sie zielen auf die Auswertung großer Mengen von Datensätzen, beispielsweise: „Wie hat sich der Anteil der First-time-right Vorgänge zwischen 2010 und 2022 entwickelt?“.
Data Warehousing ermöglicht einen zentralen Zugriff auf sämtliche Daten der Organisation, ohne dabei die laufenden Systeme zu belasten. Zudem werden durch die Verdichtung der Daten spezifische Auswertungen deutlich erleichtert. Um Auswertungen für die Endbenutzer noch weiter zu vereinfachen, können innerhalb des DWH bereichsspezifische Data Marts angelegt werden. Data Marts sind einzelne, für bestimmte User besonders relevante Abteilungen und ermöglichen ganz gezielte Auswertungen für einzelne Unternehmensbereiche.
Überlastung interner Systeme
Die operativen Systeme einer Organisation dienen dazu, die typischen Vorgänge von Geschäfts-Bereichen oder Geschäftsprozessen zu triggern, zu unterstützen und zu protokollieren. Jeder dieser Vorgänge wird als Transaktion bezeichnet, weshalb man sagt, dass operative Systeme transaktional organisiert sind.
Da BI-Analysen typischerweise große Mengen von Transaktionen auf eine bestimmte Fragestellung hin untersuchen, würden sie die transaktionalen Systeme eigentlich stark belasten. Durch das laufende Beladen des DWH können diese Auswertungen aber auf dem Datenbestand des DWH durchgeführt werden, so dass die operativen, transaktionalen Systeme nicht belastet werden
Wirtschaftliche Vorteile durch DWH.
Zeitersparnis und Qualitätsgewinn für Analysen
Data Warehousing optimiert die Datenstruktur für gewünschte Auswertungen und vereinfacht so deren Umsetzung. Dadurch können diese Analysen in weniger Zeit und folglich zu geringeren Kosten erstellt werden.
Bei der Untersuchung transaktionaler Daten im Rahmen umfassender Auswertungen sind zumeist komplexe und somit fehleranfällige Abfragen auszuführen. Diese Fehlerquelle wird mit einem DWH systematisch vermieden.
Datengestützte Angebotsoptimierung
Durch die einfache Handhabung eines DWH lassen sich viele unterschiedliche Auswertungen einer vorhandenen Datenquelle durchführen. Die so gewonnenen Informationen und Erkenntnisse bilden eine solide Grundlage für die weitere Entscheidungsfindung: im Rahmen der Unternehmensstrategie oder der saisonalen Ausweitung oder der Anpassung des Waren- und Dienstleistungsangebots nach Eintritt relevanter Markt-Ereignisse.
Eine in diesem Sinne klassische Erfolgsgeschichte hat der Einzelhandel vorzuweisen: Hier wird systematisch das Einkaufsverhalten der Kunden, die Kundenwege analysiert, um die angebotene Ware Zielgruppen-spezifisch und mit optimierter Platzierung im Ladengeschäft anbieten zu können.
Weniger Betriebskosten in der Gesamtbetrachtung
Das auswertungsoptimierte Data Warehousing entlastet die operativen Systeme in Unternehmen, wodurch deren IT-Infrastruktur weniger leistungsfähig ausgelegt werden kann. In der Gesamtbetrachtung bedeutet diese Feststellung, dass die Betriebskosten zumeist sinken, obwohl mit dem DWH ein weiteres IT-System betrieben wird.
Welche Lösung bietet Lobster?
Unternehmen wählen Lobster Produkte sowohl für die Beladung eines vorhandenen DWH als auch zur Unterstützung operativer Prozesse durch BI-Auswertungen – ohne dass dafür ein eigenes Data-Warehouse-System angeschafft werden muss.
BI-Analysen direkt in Lobster_pro
Per No-Code-Ansatz und Konfiguration kann mit der Software für Prozessautomatisierung Lobster_pro eine wie oben beschriebene Star-Datenstruktur aufgesetzt werden. Diese wird aus dem Datenbestand von Lobster_pro und Drittsystemen befüllt und zu Auswertungs- und Darstellungszwecken ausgelesen. Natürlich ist es ebenfalls möglich, mehrere verschiedene Stars anzulegen und so unterschiedliche Geschäftsfelder und -prozesse zu unterstützen.
Der Ansatz von Lobster_pro ist gut geeignet, um operativ ausgerichtete Anwendungen und Geschäftsprozesse eines Unternehmens unmittelbar zu unterstützen. Der OLAP-Cube wird in Lobster_pro zur Abfragezeit erzeugt, was die Auswertungen sehr flexibel macht.
Dieser Ansatz ersetzt allerdings kein „echtes“ DWH, bei dem die Cubes vorberechnet und persistiert d.h. in der Datenbank gespeichert werden und daher mit viel größeren Datenmengen umgehen können.
Befüllen eines Data Warehouse mit Lobster_data
Das Befüllen eines DWH aus den operativen Systemen des Unternehmens (ERP, TMS, ECM, CRM usw.) erfordert Schnittstellen zwischen diesen Systemen und dem DWH. Hier liefert Lobster_data das optimale Werkzeug, um Schnittstellen schnell und effizient aufzubauen und die Datenübertragung im Unternehmen verlässlich zu überwachen.
Insbesondere das Lobster ETL/ELT-Modul ist für diese Art von Schnittstellen entwickelt worden und unterstützt die typischen Extract-Transform-Load-Prozesse mit ihren charakteristischen Anforderungen – z.B. einer hohen Zahl an Transaktionen.
Darstellung von Daten aus einem Data Warehouse
Sollen Daten aus einem DWH für operative Prozesse genutzt werden, ist Lobster_pro das ideale Werkzeug zum Aufbau der entsprechenden Web-Applikation. Auch externen Partnern, die aus naheliegenden Gründen keinen direkten Zugriff auf das DWH erhalten, können auf diese Art Auswertungen und Visualisierungen gezielt zur Verfügung gestellt werden.
In dieser Konstellation ist Lobster_data als vollständig integriertes System das optimale Werkzeug, um die von Lobster_pro benötigten Methoden, Protokolle und Daten(formate) vorzuhalten. Lobster_data stellt gewissermaßen die API-Engine von Lobster_pro dar.
