❌ TDM Tool ❌ Vielschichtiges Testdatenmanagement-Framework für DevOps, MLOps und DataOps bereitstellen❗

1. Realitätsnähe, um die Eigenschaften der Produktionsdaten und die Anforderungen der Anwendungstests widerzuspiegeln
2. Konformität mit Geschäfts- und Datenschutzregeln sowie DB- und Analysemodellen
3. Verfügbarkeit oder Sicherheit der Daten (je nach Sichtweise)
4. Nachvollziehbarkeit für die Abstammung und Verantwortlichkeit

Die an diesen Pipelines beteiligten Akteure verstehen diese Anforderungen aus ihrer eigenen Perspektive. IRI, auch bekannt als "The CoSort Company", bietet ein vielschichtiges Testdatenmanagement-Framework, um diese Anforderungen zu erfüllen. Die Rolle von IRI in diesem weiten Bereich begann mit der Notwendigkeit, umfangreiche, realistische Daten zu erstellen, um das Volumen und die Vielfalt der Datenumwandlungs- und Formatierungsaktivitäten zu testen, die im IRI CoSort-Produkt zur Datenmanipulation unterstützt werden.

Unter Verwendung der zentralen "SortCL"-Datendefinitionssprache und des Verarbeitungsprogramms von CoSort änderte IRI die Eingabephase seines ETL-Prozesses vom Lesen von Dateien zum Erstellen von Dateien, entweder durch die Generierung von Zufallswerten für bestimmte Datentypen und -bereiche und/oder die zufällige Auswahl von Daten aus externen Beständen.

Sichere und schnelle Lösung für TDM: 2004 brachte IRI das RowGen-Spin-Off-Produkt von SortCL auf den Markt und erweiterte es später, um vorsortierte, strukturell und referenziell korrekte RDB-Schemata nur aus DDL-Details zu analysieren, zu synthetisieren und zu laden. RowGen kann jetzt auch: neue Datenformate und rechnerisch gültige CCNs und NIDs generieren sowie Sätze für die Behandlung von All-Pairs; Nullen und realistische Wertverteilungen erstellen; in ETL- und CI/CD-Pipelines arbeiten; und Testdaten in halb- und unstrukturierten Quellen wie EDI- und Excel-Dateien, PDF- und Word-Dokumenten und Bildern mit eingebetteten Testdaten auffüllen, wenn sie mit der IRI DarkShield-Such-/Masken-API verwendet werden.

Testdaten für DevOps (TestOps): DevOps rationalisiert die Abläufe im Softwareentwicklungszyklus (SDLC), um die Softwarebereitstellung zu beschleunigen. Viele Entwickler nutzen CI/CD-Pipelines, um Software-Releases agiler und kontinuierlicher zu gestalten. Testdaten, die mit den Datenmaskierungs-, Subsetting- oder Synthesetools von IRI Voracity erstellt wurden, können von Jenkins, Amazon CodePipeline, Azure DevOps, GitLab usw. ausgeführt und genutzt werden, um die Funktionalität und Kapazität der Software bei jedem Build zu bewerten.

Die aufkommende TestOps-Disziplin verwaltet die operativen Aspekte des Testens im SDLC, wozu das Sammeln, Vorbereiten und Sichern von Expositionsdaten, Produktionssystemen und Testfallquellen gehört … um die Testabdeckung, Mitarbeiter und Aktivitäten zu skalieren (aber auch um die Softwarequalität zu gewährleisten). Intelligente Datenintegration und Anonymisierung dieser Quellen in Voracity spielt daher eine Schlüsselrolle für TestOps und verbessert gleichzeitig die DevOps-QA und mildert Datenschutzrisiken.

Testdaten für MLOps: Reichhaltige, anonyme Daten helfen auch beim Testen von maschinellen Lernvorgängen (MLOps), zu denen das Speichern, Laden und Transformieren von Daten sowie das Testen von Modellen und die Datenvalidierung gehören. Für jede dieser Phasen kann zum Beispiel das IRI RowGen Produkt in Voracity schnell riesige, realistische Dateien in Bulk-Load (z.B. CSV) und ML-Modellformaten wie PMML/XML und PFA/JSON synthetisieren.

Alternativ können die FieldShield oder DarkShield Datenerkennungs- und Maskierungswerkzeuge in Voracity Datenbanksammlungen, Dateien oder Datenströme, die beim maschinellen Lernen verwendet werden, für die sichere Verwendung beim Testen durchsuchen und säubern.

Testdaten für DataOps: Die Implementierung eines DataOps-Testansatzes für ETL-Projekte bedeutet die Automatisierung von Tests für Quell- und Zieldatensätze und die Sicherstellung, dass diese Sätze die Eigenschaften von Daten widerspiegeln, die in echten Analysemodellen verwendet werden, ohne Personen zu identifizieren. IRI-Software erleichtert die Datenintegration und die Automatisierung von Analysetests auf verschiedene Weise.

Eine Möglichkeit besteht in der Kombination von Datentransformation und -verarbeitung mit Datenmaskierung oder -synthese. Einzigartig an Voracity ist die Back-End-Metadaten- und Engine-Unterstützung für eine solche Aufgabenkonsolidierung. In einem einzigen E/A-Durchlauf durch das oben erwähnte SortCL-Datenverarbeitungsprogramm können Voracity-Benutzer gleichzeitig Testdaten synthetisieren, transformieren und in mehrere künstliche, aber realistische Analyseziele formatieren. Umgekehrt kann das Programm eine oder mehrere Produktionsquellen lesen, sie integrieren und transformieren sowie Daten bereinigen, maskieren und in die gewünschten Ziele umformatieren.

Eine weitere Möglichkeit ist die Datenintegrations-Vorschau-Funktion für Voracity ETL-Architekten, die einen Mapping-Job mit automatisch generierten Testdaten durchführt. Diese Option erstellt Ziel-Subsets mit realistischen Testdaten, so dass Architekten ihre Transformationslogik und ihr Output-Layout validieren können.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.