❌ Datenbereinigung ❌ Data Scrubbing und Datentransformation von Big Data im gleichen I/O-Durchgang ❗

Benutzerdefinierte Funktionen können auch in separaten Batch-Schritten oder in einer speziellen "Script-Transformationskomponente" ausgeführt werden, die Sie mit dem Datenfluss Ihres Tools verbinden und in kleineren Teilen ausführen müssen. Das ist ein Problem bei wachsenden Datenmengen.

Datenqualitätswerkzeuge hingegen können auch viel von dieser Arbeit leisten. Leider sind sie bei hohem Volumen nicht besonders effizient und können schwer zu konfigurieren oder zu modifizieren sein. Sie können auch ein funktionaler Überfluss sein und viel kosten. Manchmal ist die größte Lösung nicht die beste.

Lösungen: Das SortCL-Programm in IRI CoSort oder IRI Voracity kann Daten in mehr als 150 Tabellen- und Dateiquellen finden und bereinigen. SortCL verwendet eine einfache 4GL– und Eclipse-GUI, um Daten, Manipulationen und Ziele bis auf die Feldebene zu definieren.

In SortCL integrierte native Datenqualitätsfunktionen, die Sie ausführen oder mit den Aktivitäten zur Datentransformation, Migration, Schutz und Berichterstellung kombinieren können:

• Deduplizierung Zeichenüberprüfung
• Datenhomogenisierung
• Werte finden (scannen) und ersetzen
• Horizontale und bedingte vertikale Auswahl
• Definition und Auswertung der Datenstruktur (Format)
• Erkennung und Markierung von Datenänderungen und Logikproblemen

SortCL unterstützt auch die Definition von benutzerdefinierten Datenformaten durch Vorlagendefinitionen. Dies ermöglicht das Scannen und Verifizieren von Formaten.

Für eine erweiterte Datenbereinigung (basierend auf komplexen Geschäftsregeln) auf Feldebene können Sie Ihre eigenen Funktionen oder die Funktionen in Lieferantenbibliotheken für Datenqualität anschließen. Die CoSort Dokumentation bezieht sich auf Beispiele aus Trillium und der Melissa Data Adressnormbibliothek. Deklarieren Sie eine Reinigungsfunktion für ein beliebiges Feld entweder im Voraktionsplan oder in der Zielphase eines Auftrags (d.h. bis zu zwei DQ-Routinen pro Feld, pro Auftrag).

Das Fazit: Mit CoSort SortCL – und vielleicht speziellen Datenqualitätsbibliotheken die Sie hinzufügen, können Sie Ihre Daten im gleichen I/O-Pass bereinigen, in dem Sie filtern, transformieren, sichern, berichten oder weitergeben.

Wenn Sie PII wie SSNs in Ihren Datensätzen finden und suchen müssen, wird SortCL dies ebenso tun wie das eigenständige IRI FieldShield Datenmaskierungstool. Wenn Sie qualitativ hochwertige Testdaten benötigen, besuchen Sie IRI RowGen. RowGen verwendet SortCL-Metadaten um intelligente Testdaten zu erstellen, die Ihren Geschäftsregeln entsprechen, so dass Sie mit den realistischen, aber sicheren Daten testen können: gute, schlechte und Nulldaten.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.