❌ Datenintegration und Datenmanagement ❌ DBTA listet wichtigste Funktionen für Data Management und sicherer Datenmaskierung für moderne Unternehmen ❗

In der DBTA-Ausgabe 2018 zum Thema Datenintegration und -governance haben wir einen MDM-bezogenen Anwendungsfall in Malaysia (das MyGDX-Portal) vorgestellt, bei dem die Datentransformations- und Datenqualitätsfunktionen des CoSort "SortCL"-Programms genutzt werden, das die Datenmanagement-Plattform von IRI Voracity betreibt. Was wir heute häufiger sehen, ist die Kombination dieser Aktivitäten mit Datenmaskierung. Dies spiegelt die Anforderungen an die Sicherheit von personenbezogenen Daten, die Einhaltung von Datenschutzgesetzen und die Verwaltung von Testdaten in Big Data"-Warehousing- und BI/Analysekontexten wider.

Voracity ist das übergreifende Softwareprodukt von IRI, das den Höhepunkt von mehr als 40 Jahren Erfahrung in der Datenmanipulation und -bewegung darstellt, beginnend mit CoSort. Die Entwicklung der Produktlinie und des Unternehmens verläuft geradlinig von Mainframe-Sortierung und Datenmigration über Data Warehouse ETL-Beschleunigung und Zusatzfunktionen wie Änderungsdatenerfassung und sich langsam ändernde Dimensionen sowie Datenvalidierung und -qualität, Datenmaskierung, Subsetting und Synthese bis hin zu Reporting und Analytik. Das hört sich vielleicht nicht nach einer geraden Linie an, ist es aber im Hinblick auf die Entwicklung der CoSort-Funktionen und Spin-off-Produkte.

Voracity-Jobs werden von der seit langem bewährten CoSort-Datenmanipulations-Engine unterstützt. Voracity-Jobs werden in IRI Workbench erstellt und verwaltet, einer reichhaltigen und intuitiven IDE, die auf Eclipse aufbaut und Job-Design und Workflow-Management in mehreren Modi unterstützt.

Heute können Sie die jahrzehntelangen Fortschritte von IRI im Bereich der Hochgeschwindigkeitsdatenbewegung und -manipulation in ergonomischen Softwareprodukten nutzen – oder in einer einzigen Plattform, die alles vereint:

• Datenermittlung – Klassifizierung, Diagrammerstellung, Profilerstellung und Suche von strukturierten, semistrukturierten und unstrukturierten Datenquellen, vor Ort oder in der Cloud
• Datenintegration – individuell optimierte, aber konsolidierte E-, T- und L-Operationen in einem Durchgang sowie CDC, sich langsam ändernde Dimensionen und Möglichkeiten zur Beschleunigung oder zum Verlassen jeder bestehenden ETL-Plattform
• Datenmigration – Konvertierung von Datentypen, Dateiformaten und Datenbankplattformen sowie inkrementelle oder Massendatenreplikation und Föderation
• Data Governance – Maskierung von PII-Daten und Re-ID-Risikobewertung, DB-Subsetting, Generierung synthetischer Testdaten, Datenvalidierung, -bereinigung und -anreicherung, Master- und Metadatenmanagement usw.
• Analysen – eingebettete Berichte, Integrationen mit DataDog, KNIME und Splunk sowie schnelle Datenverarbeitung für BOBJ, Cognos, Cubeware, Microstrategy, Power BI, Qlik, R, Spotfire, Tableau usw.

Datenintegration und Data Governance sind traditionell getrennte Disziplinen, die in separaten Silos und Softwareprodukten ausgeführt und von Personen mit unterschiedlichen Zielen und Fähigkeiten verwaltet werden. Denken Sie einmal darüber nach, wie viele eigenständige Technologien für Data Profiling, ETL, Datenbereinigung, Datenmaskierung, Stammdatenmanagement und IAM/Auditing es gibt und welche Ihr Unternehmen bereits eingesetzt hat. Stellen Sie sich nun eine Alternative vor, bei der Sie einfache Assistenten, moderne Diagramme, eine für Menschen lesbare 4GL und eine vertraute IDE verwenden können, um diese Aufgaben zu kombinieren, zu optimieren und im Team zu verwalten.

So können beispielsweise Aufträge, die Datenerfassung, -umwandlung, -filterung, -bereinigung, -maskierung und -berichterstattung umfassen, in einem einzigen Auftragsskript und sogar in einem einzigen E/A-Durchlauf ausgeführt werden. Externe Komponenten für IAM, Überwachung und Workflow, CI/CD und Analysepipelines, MDM usw. können mit diesen Aufträgen im selben Fenster zusammenarbeiten. Und alles kann auf vorhandener Hardware vor Ort oder in der Cloud laufen.

Auch hier ist die gesamte Voracity-Funktionalität in Eclipse implementiert und wird größtenteils von IRI CoSort oder austauschbaren Hadoop-Engines unterstützt. Voracity Subskriptions- oder unbefristete Lizenzmodelle zählen nur die Engine-Knoten und nicht die Quellen, Nutzer oder Kerne. Es handelt sich um ein Bündel von technischen Fähigkeiten, die entwickelt wurden, um ein Bündel von Effizienz, Einfachheit und Erschwinglichkeit zu liefern.

Die Zusammenfassung und ein direkter Vergleich finden Sie in der neuesten DBTA-Ausgabe hier!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.