PEAK PERFORMANCE.
HOGE PERFORMANCE MET LOBSTER_DATA.
Dankzij de moderne systeemarchitectuur en het gebruik van de programmeertaal Java is Lobster_data een krachtige bedrijfsapplicatie met veel prestatievoordelen. Door onze innovatieve aanpak scheiden we de verwerking en communicatie van datapakketten en zorgen we zo voor een veilige overdracht.
KLANTEN DIE OP LOBSTER VERTROUWEN.
Voordelen.
Lobster zet zich in voor Green IT en minimaliseert de ecologische voetafdruk van je gegevensverwerking. We vermijden wachtrijen door bestanden in batches te versturen in plaats van individueel over te dragen en we zorgen voor adequaat beheer van veel korte transacties. Dit vermindert niet alleen de latency en verwerkingstijd, maar bespaart ook kosten op dure transmissiemethoden door compressie en automatisering.
Multithreading
Lobster_data ondersteunt multithreading, waardoor meerdere threads in een programma gelijktijdig kunnen worden uitgevoerd en, door gebruik te maken van meerdere CPU cores, de prestaties kunnen worden verbeterd.
EFFICIËNT GEHEUGENBEHEER
Lobster_data heeft een automatisch, efficiënt geheugenbeheersysteem via de vuilnisophaalfunctie, die het risico op geheugenlekken en crashes aanzienlijk vermindert.
JUST-IN-TIME COMPILATIE (JIT)
JIT-compilatie in Lobster_data verbetert de prestaties door de JVM dynamisch bytecode te laten compileren naar native machinecode tijdens runtime.
PLATFORMONAFHANKELIJKHEID
Aangezien Lobster_data op Java is gebaseerd, kan het op elk platform draaien waarop een Java virtuele machine (JVM) is geïnstalleerd, waardoor platformonafhankelijkheid wordt geboden.
Duizenden AS400-verzoeken kunnen binnen enkele minuten worden verwerkt in plaats van uren!
x Verbergen
OVERZICHT VAN ONDERDELEN, PERFORMANCE & FUNCTIES
Directe totstandkoming van TCP-verbindingen als de eindapparaten en machines die verbonden moeten worden niet geschikt zijn voor MQTT en/of OPC UA.
OPTIMALISATIE VAN PROCESBELASTING
De Lobster_data module "Process Load Optimisation" (PLO) biedt geoptimaliseerde verwerking bij zeer hoge procesvolumes.
ASYNCHRONE VERZENDMODULE (ASM)
De ASM-uitbreidingsmodule bundelt het verzenden van een willekeurig aantal bestanden naar communicatiepartners voor een vooraf gedefinieerd tijdstip.
XML-Streaming
Het gebruik van XML-streaming maakt extreem snelle verwerking van grote XML-bestanden mogelijk (in het bereik van meerdere GBs) met minimaal geheugengebruik.
Met één druk op de knop hebben we toegang tot de formaten die we nodig hebben. Wat vroeger dagen duurde, kunnen we met Lobster_data in een paar uur doen.
Ulrich Peekhaus
IT-Manager, Knipex
- Tips & tricks
- LOAD BALANCING
- ETL/ELT
- Use Case
Tipps & Tricks
Hardware
Lobster_data bietet neben der Server-Hardware Aufrüstung weitere Tipps und Tricks zur Verbesserung der Gesamtperformance.
Performance-Analyse
Im Betrieb können durch Performance-Analysen gezielte Optimierungen anhand von statistischen Daten vorgenommen werden. Lobster_data gibt dezidierte Hinweise für Optimierungen durch Auslastungs-Monitoring und die Auflistung der APIs mit den meisten Konvertierungen, Fehlern, Datenvolumen und längsten Verarbeitungszeiten.
Lastverteilung
Bei Lobster fungiert der Node Controller als interner Lastverteiler und bietet mehrere Leistungsvorteile:
Verbesserte Verfügbarkeit und Betriebszeit
Die Verteilung des eingehenden Datenverkehrs auf mehrere Working Nodes stellt sicher, dass bei Ausfall eines Nodes der Traffic auf einen anderen verfügbaren Node umgeleitet wird. Sollte der Node Controller ausfallen, übernimmt automatisch der nächste Working Node dessen Aufgabe. Wartungsarbeiten oder Updates können pro Node sukzessive vorgenommen werden, so dass für das Gesamtsystem keine Downtime entsteht.
Schnellere Antwortzeiten
Load Balancing verkürzt die Antwortzeiten dadurch, dass die Verbindungen nur an solche Nodes gegeben werden, die weniger ausgelastet oder für spezielle Aufgaben optimiert sind.
Skalierbarkeit
Der Lastverteiler bewältigt mehr Daten-Traffic und API-Anfragen, indem er die Last auf mehrere Nodes verteilt und so eine bessere Skalierbarkeit und Kapazitätsplanung ermöglicht. Nimmt der Daten-Traffic zu, können zusätzliche Nodes zur Last-Bewältigung in den Pool aufgenommen werden.
Verbesserte Ressourcen-nutzung
Der Lastverteiler stellt eine optimale Auslastung aller Nodes im Pool sicher. Er minimiert die Über- oder Unterauslastung von Ressourcen und verbessert die Gesamteffizienz des Systems.
ETL/ELT
Die Abkürzungen ETL (Extract, Transform, Load) und ELT (Extract, Load, Transform) bezeichenen Datenintegrationsprozesse, um Daten aus einem oder mehreren Quellsystemen in ein Zielsystem zu verschieben und zu transformieren. Das ETL/ELT-Modul in Lobster_data unterstützt bei der Zusammenführung und Verarbeitung großer Datenmengen aus verschiedenen Datenquellen.
Über sehr schnelle ETL/ELT-Prozesse können Daten in eine Ziel-Datenbank (Data Warehouse, Data Lake) geladen werden. Mit dem ETL/ELT-Modul in Lobster_data erfolgt zusätzlich die hochperformante Abarbeitung aller Datenbereinigungs- und Transformationsregeln und damit eine schnelle Verfügbarkeit der Daten im Zielsystem. Bestehende Schnittstellen zu Datenbanken, ERP-, Logistik- oder Shop-Systemen können mit nur wenig Aufwand für die Umsetzung von ETL/ELT herangezogen werden. Das Lobster ETL/ELT-Modul bietet eine leistungsfähige DWH-Vorverarbeitung von Massendaten für Dateien mit einer Größe von bis zu 6 GB. Die für die Datenintegration und Daten-Bereitstellung im Rahmen von Business Intelligence benötigte Zeit verkürzt sich damit erheblich.
Use Case
Lobster_data ist hochperformant. Als Beispiel: Bei 2TB Datenvolumen und 22 Millionen Daten-Requests ergibt sich bei einem Server mit 16 Kernen und 48 GB Hauptspeicher zumeist eine Auslastung von nur 30%. Dennoch besteht für sehr große Datenvolumen die Möglichkeit einer zusätzlichen Verteilung, sodass der zentrale Node Controller den eingehenden Datenverkehr auf einen oder mehrere Working Nodes in verschiedenen Systemen aufteilt und eine Überlastung des einzelnen Systems verhindert.
Wird eine Anfrage an einen Node Controller gesendet, verwendet dieser vordefinierte Einstellungen, um festzulegen, welcher Working Node im Cluster die Anfrage bearbeiten soll. Sobald ein Node ausgewählt wurde, leitet das Lastausgleichsystem die Anfrage direkt an diesen Node weiter.
