In früheren Artikeln im Business Intelligence (BI)-Abschnitt haben wir beschrieben, wie der Umgang mit Daten mit der SortCL-Engine im Datenmanipulationsprodukt IRI CoSort und der Datenverwaltungsplattform Voracity die Zeit bis zur Datenvisualisierung und damit zu verwertbaren Erkenntnissen in BI-Tools verkürzt. In diesem Artikel werden die Vorteile des Data Wranglings hervorgehoben, die Voracity für Analysen in der Cubeware-Plattform bietet.

Voracity ist zwar sehr schnell im Umgang mit Daten und verfügt über ein breites Spektrum an Datenmanipulations- und Datenschutzfunktionen, es fehlt jedoch ein Onboard-Visualisierungs- und Dashboarding-Tool. Hier kommt Cubeware ins Spiel. Umgekehrt steigert Voracity für Anwender von Cubeware Software den Wert ihres Importer-Prozesses durch schnelle, konsolidierte Datentransformation, Bereinigung und Maskierung.

Cubeware bietet mit dem Importer ein grafisches ETL-Tool zur Konsolidierung von Daten aus verschiedenen Quellsystemen mit umfassenden Transformationsprozessen an, das viele Funktionalitäten mit Voracity gemeinsam hat.

Was ist der Nutzen von Voracity? Für mehr Geschwindigkeit bei der Vorbereitung von großen Big Data Dateien, zusätzliche Datenqualitätsmerkmale und für datenzentrierte Sicherheitsfunktionen (PII-Klassifizierung, Discovery und Maskierung) zur konformen Datenschutz-Einhaltung.

Zunächst verwendet Voracity die SortCL-Engine, um Daten schneller zu integrieren und zu verarbeiten als der Cubeware Importer und die meisten ETL-Tools auf dem Markt. SortCL ist ein schnelles, aufgabenkonsolidierendes Datenverarbeitungsprogramm für strukturierte und halbstrukturierte Quellen, das Speicher, Threads und E/A optimiert. Es läuft auf Windows- und Linux/Unix-Befehlszeilen lokal oder in der Cloud.

SortCL-Jobs werden in einfachen 4GL-Job-Skripten spezifiziert, die auch in einer freien grafischen IDE namens IRI Workbench, die auf Eclipse™ basiert, entworfen und verwaltet werden können. SortCL-Programme sind nicht nur leicht verständlich, sondern unterstützen auch eine Vielzahl von Datenmanipulations-, Mapping-, Munging-, Maskierungs- und Mining-Funktionen für Hunderte von Anwendungsfällen in den Bereichen Datenverarbeitung, Schutz, Prototyping und Präsentation.

SortCL kann Voracity eine Vielzahl von Datenqualitätsfunktionen unterstützen! Die Datenvalidierungsfunktionen können die Datenqualität verbessern, z. B. durch die Schaffung von Bedingungen zum Testen auf leere Werte, groß- oder kleingeschriebene Werte, alphabetische und numerische Werte, druckbare Werte und vieles mehr. Es kann auch Datensätze filtern, die bestimmte Bedingungen, Bereiche oder Mengenschwellen erfüllen. GDPR-Konformität kann durch SortCL-unterstützte Daten-‚Schilde‘ erreicht werden, die PII wie Löschung, Verschlüsselung, Schwärzung und Pseudonymisierung usw. maskieren.

Vor allem aber können alle oben genannten Aktivitäten, die mit ETL, Datenqualität und Maskierung zu tun haben, gleichzeitig und im selben Job-Skript und E/A-Durchlauf durchgeführt werden, was zu einer erheblichen Zeitersparnis bei der Entwicklung und Ausführung von Jobs führt. SortCL kann auch benutzerdefinierte 2D-Detail- und Zusammenfassungsberichte erstellen, um einen schnellen Überblick über die Daten zu bieten und sicherzustellen, dass alles korrekt erscheint, bevor Cockpit mit den Übergaben gefüttert wird, die es für die schnelle Anzeige benötigt.

Fazit: Der größte Vorteil von Voracity ist die schnelle und robuste Verarbeitung von Flat-Files. Wenn es in der Lage ist, einen großen Prozentsatz von Datensätzen aus einer sehr großen Datei herauszufiltern, kann sein SortCL-Programm einen schnellen Datentransfer von Datei zu Datenbank ermöglichen. Datentransformation, Validierung, Bereinigung, Maskierung und Neuformatierung sind alles unterstützte Funktionen, die in einem SortCL-Skript und E/A-Durchlauf kombiniert werden können.

Im Allgemeinen würden SortCL-Skripte von Datei zu Datenbank beim Schreiben einer großen Anzahl von Datensätzen in die Datenbank zu langsameren Ergebnissen führen als Cubeware. SortCL kann jedoch die Eingabe von Flat-Files schneller verarbeiten und sie dann auf viel kleinere Untermengen von Datensätzen filtern, die für eine Datenbank gebunden sind.

Beim Lesen aus einer Datenbank und beim Schreiben in eine Flat-File kann die SortCL-Engine einige Geschwindigkeitsvorteile bieten. Ein von Cubeware zur Verfügung gestellter Benchmark ergab einen Durchschnitt von 5m:32s, um ähnliche Filterungen und Transformationen durchzuführen, die SortCL in 2m:11s durchführte. Die Eingabe für diesen Benchmark war Microsoft SQL Server, und die Ausgabe war eine durch Semikolon getrennte Textdatei.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.