LOBSTER_DATA-MODUL: Prozesslast-Optimierung - Lobster
Lobster Loading

LOBSTER_DATA-MODUL: Prozesslast-Optimierung

VORAUSSCHAUEND ARBEITEN. ZEIT SPAREN.

PROZESSLAST-OPTIMIERUNG FÜR LOBSTER_DATA.  

Das Modul Prozesslast-Optimierung in Lobster_data sorgt bei Lastspitzen für eine Umverteilung der einzelnen Vorgänge auf die im Server vorhandenen Prozessorkerne. Dadurch wird die Performance eines einzelnen Servers deutlich optimiert.  

Sobald im Arbeitsalltag viele Konvertierungen kleinerer Daten vorgenommen werden, ist das Modul Prozesslast-Optimierung (PLO) eine wertvolle Ergänzung für Lobster_data, die Softwarelösung für Daten- und Systemintegration. Immer dann, wenn der Lobster Integration Server nativ oder virtuell auf einem Server mit mehreren Prozessor-Kernen läuft. Und bei Belastungsspitzen die Warteschlangen in Lobster_data längere Zeit nicht vollständig abgearbeitet werden können. Hierfür bietet Lobster das Lobster_data Modul Prozesslast-Optimierung. Ein Service zur optimalen Abarbeitung bei sehr hohem Prozessaufkommen.  

THREAD OFFENHALTEN. OVERHEAD REDUZIEREN.  

Mit dem Einstellen einer Datei wird in Lobster_data ein Thread eröffnet. Es folgt das Mapping, ehe der Thread wieder geschlossen wird. Dadurch entsteht bei jedem Profildurchlauf ein gewisser Overhead (ca. 120 Millisekunden pro Durchlauf). Während dies bei geringem Jobvolumen zu vernachlässigen ist, kostet es bei zehn Millionen Jobs pro Tag enorm viel Zeit. Durch die Aktivierung der Prozesslast-Optimierung arbeitet Lobster_data bei vielen kleinen Konvertierungen vorausschauend und hält den Thread für alle folgenden Mappings offen. Die Zeit, die für das Öffnen eines Threads benötigt wird, wird eingespart – der Overhead auf etwa drei Millisekunden pro Profildurchlauf reduziert. Eine signifikante Zeitersparnis. Vor allem bei vielen kleinen und mittleren Dateigrößen und Lastspitzen mit zahlreichen parallellaufenden Jobs. Um diese Beschleunigung zu erreichen, werden zusätzliche intelligente Algorithmen für vorausschauendes Thread Polling entwickelt, durch umfangreiche Tests kontinuierlich optimiert und zum PLO-Modul zusammengefasst. Die Folge jahrelanger Lobster-Entwicklung im Sinne der Kunden.  

MODUL-AKTIVIERUNG BEI NEUSTART.  

Lastspitzen treten häufig durch sehr viele, in sehr kurzen Abständen erfolgende HTTP-Anfragen auf. Bei hoher Last hält der Webserver viele Fragen in der Task-Queue, da die Jobs aufgrund der begrenzten, maximal verfügbaren Speichernutzung sukzessive abgearbeitet werden. Dank der schnelleren Thread-Abarbeitung pro HTTP-Request verkürzt die Prozesslast-Optimierung die Antwortzeit. HTTP-Requests werden vom Webserver nicht abgewiesen und das Gesamtsystem bleibt zuverlässig im Betrieb. Das PLO-Modul ist darüber hinaus Voraussetzung für die Freischaltung und Nutzung des MongoDB Service als Protokollierungsserver in Lobster_data, da ansonsten die Vorteile dieser NoSQL-Datenbank mit ihrer deutlich verbesserten Performance für die Persistenz Job-bezogener Logs und Protokolle nicht wirklich zum Tragen kommen. Für die Aktivierung des Lobster_data Moduls Prozesslast-Optimierung ist keine zusätzliche Konfiguration notwendig. Die Freischaltung erfolgt direkt über eine Lizenzerweiterung. Nach einem Neustart von Lobster_data wird die Änderung einfach übernommen und das Modul aktiviert.