Autor: Firma JET-Software
❌ Datenverarbeitung ❌ Die bewährte, erschwingliche und schnelle Datenmanagement-Plattform für Big Data ❗

❌ Datenverarbeitung ❌ Die bewährte, erschwingliche und schnelle Datenmanagement-Plattform für Big Data ❗

By |
Seit 1978 weltweite Referenzen für Datenmanagement und Sicherheit! IRI Voracity® manipuliert und verwaltet eine riesige Bandbreite und Menge an Daten über eine einzige, auf Eclipse™ basierende Oberfläche. Nutzen Sie Voracity, um schnell und zuverlässig Daten lokal vor Ort oder in der Cloud zu entdecken, zu integrieren, zu migrieren, zu verwalten und zu analysieren und dabei alle "V"-Herausforderungen von Big Data zu bewältigen:

VOLUME: Daten aus internen und öffentlichen Quellen wachsen exponentiell. Voracitys langjährig bewährte IRI CoSort-Engine führt und kombiniert Multi-Gigabyte-Transformationen in Sekundenschnelle und übertrifft damit die Geschwindigkeit herkömmlicher Sortier-, BI-, DB- und ETL-Tools um das 2-20fache.

VIELSEITIGKEIT: Die Vielzahl an strukturierten und unstrukturierten Quellen übersteigt die Möglichkeiten der meisten Tools. Voracity unterstützt mehr als 150 Datenquellen und -ziele, darunter Legacy- und EDI-Dateien, multiple und multi-byte Daten und endianische Typen, jedes RDBMS, sowie viele Big Data und Cloud/SaaS-Quellen.

VELOCITY: CDR-, IOT-, Sozial- und Transaktionsdaten kommen schnell und in unterschiedlichen Intervallen. CoSort oder nahtlos integrierte Hadoop-Engines in Voracity skalieren Workloads über Commodity-Hardware. Voracity kann auch Echtzeit-, Fast-Echtzeit- oder Streaming-DB-, Datei- oder Nachrichtendaten über Kafka oder MQTT, Pipes oder Prozeduren, Spark oder Storm und IRI Ripcurrent verarbeiten.

VERACITY: Daten von geringer Qualität mindern den Wert von Analysen und Tests, und personenbezogene Daten stellen ein Risiko für Sie dar. Voracitys Validierungs-, Scrubbing-, Anreicherungs- und Vereinheitlichungsfunktionen verbessern alle die Datenqualität. Die eingebetteten Funktionen zur Datenklassifizierung, -erkennung und -maskierung sowie die Unterteilung von Datenbanken und die realistische Synthese von Testdaten helfen Ihnen, Datenschutzverletzungen zu verhindern, DevOps zu verbessern und Datenschutzgesetze einzuhalten.

VALUE: Wenn Sie Ihre Informations- und Entscheidungsbedürfnisse auf der Basis von Daten (neu) überdenken, sollten Sie den Wert einer echten Analyseplattform für die Produktion in Betracht ziehen, die Datenaufbereitung mit Analyse und Visualisierung verbindet. Oder kombinieren Sie Voracity mit DataSwitch für Self-Service-Datenvorbereitung und kodierungsfreies Data Engineering, um die Demokratisierung von Daten zu erleichtern.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Testautomatisierung ❌ Den Testentwurf automatisieren für eine effizientere Testautomatisierung ❗

❌ Testautomatisierung ❌ Den Testentwurf automatisieren für eine effizientere Testautomatisierung ❗

By |
Testautomatisierung: Automatisierung des Testentwurfs!

Dies ist der erste in einer Reihe von Blog-Beiträgen, die die verschiedenen Datenmanagement-Funktionen von IRI Voracity in einer Reihe von Kontexten und Anwendungsfällen hervorheben werden. Auf höchster Ebene ist Voracity eine Datenmanagement-Plattform, die eine breite Palette von datenorientierten Funktionen bietet und auf die über die IRI Workbench zugegriffen wird, eine assistentengesteuerte Benutzeroberfläche, die durch grafische Modellierung unterstützt wird. Zum Auftakt dieser Serie beginnen wir mit einem Thema, das uns sehr am Herzen liegt: die Automatisierung des Testentwurfs.

Für diejenigen unter Ihnen, die es noch nicht wissen: Die Automatisierung des Testentwurfs ist philosophisch gesehen eine Weiterentwicklung der Testautomatisierung, die den Einsatz der Automatisierung als Ganzes und während des gesamten Testprozesses betont, nicht nur als Teil der Testausführung. Die Vorteile liegen auf der Hand und bestehen hauptsächlich darin, dass sich Ihre Tests viel einfacher und schneller entwerfen, erstellen und ausführen lassen. Dies wiederum ermöglicht es Ihnen, gründlicher zu testen, die Testabdeckung zu maximieren und so weiter. 

Das Problem ist, dass Sie wirklich jeden Teil Ihrer Testprozesse automatisieren müssen, um diese Art von Vorteilen zu erzielen: Ausführung, Anforderungen, Testentwurf, Testdaten. Ein ausgeklügelter Testprozess, der vom Testentwurf bis zur Testdurchführung alles automatisiert, hat wenig Sinn, wenn Sie die Testdaten jedes Mal manuell generieren und einspeisen müssen, wenn Sie den Test durchführen. 

Jedes schwache Glied in der Kette birgt die Gefahr eines Engpasses, und wenn das passiert, wird Ihr gesamter Testprozess mit beunruhigender Regelmäßigkeit zum Stillstand kommen. "Eine Kette ist nur so stark wie ihr schwächstes Glied", sagt ein Sprichwort: Blitzschneller, automatisierter Testentwurf und -durchführung bedeuten so gut wie nichts, wenn Ihre Testdatenlieferungsprozesse zu langsam sind. 

In der Tat sind Testdaten berüchtigt dafür, diese Art von Engpässen zu verursachen. In der Vergangenheit wurden sie durch lange Lieferzeiten geplagt, insbesondere wenn es sich um sensible Daten handelt. Und wie Sie vielleicht schon erraten haben, ist dies der Hauptbereich, in dem relevante Werkzeuge in Voracity die Testentwurfsautomatisierung unterstützen können. Die robuste, automatisierte Testdatenverwaltung und -bereitstellung ermöglicht es Ihnen, den größten Nutzen aus Ihrer Testentwurfsautomatisierung zu ziehen, indem sie den Engpass bei den Testdaten zumindest deutlich verringert, wenn nicht sogar ganz beseitigt. 

IRI Voracity bietet alle Fähigkeiten zur Datenerkennung, Maskierung und Subsetting, die Sie normalerweise von einer Testdatenmanagement-Lösung erwarten. Es bietet auch die Möglichkeit, synthetische Daten zu generieren, insbesondere die Erstellung von repräsentativen Datensätzen durch die Analyse Ihrer realen Daten. Allein diese Funktionen reichen aus, um die Erstellung und Bereitstellung von Testdatensätzen erheblich zu beschleunigen. 

Darüber hinaus können diese Daten-Subsetting-, Maskierungs- und Synthese-Jobs direkt aus den Prozessen Ihrer CI/CD-Plattform heraus aufgerufen werden, entweder vor Ort oder in der Cloud. Das bedeutet, dass sie in GitLab, Amazon CodePipeline, Azure DevOps und Jenkins-Workflows integriert werden können. All dies spricht für reale, laufende Beispiele des Produkts im Einsatz, die wiederum als anschauliche Beispiele für die Verwendung von Voracity zur Automatisierung der Produktion und des Verbrauchs von Testdaten durch diese Pipelines dienen.

Darüber hinaus ist IRI eine Partnerschaft mit Windocks eingegangen, einem auf Datenbankvirtualisierung spezialisierten Unternehmen. Diese Voracity-Windocks-Kombination liefert Ihre Testdaten in On-Demand-, Self-Service-, containerisierten und virtualisierten Repositories. 

Im Wesentlichen arbeiten die Werkzeuge gleichzeitig und gemeinsam, um bereinigte Klone Ihrer Produktionsdaten zu erstellen, die über Self-Service bereitgestellt und dann extrem schnell abgerufen und genutzt werden können. Im Rahmen der Testdesign-Automatisierung können Sie diese Lösung dank der Unterstützung von RESTful-API-Aufrufen direkt in Ihre Testpipelines einbinden und somit von ähnlichen Geschwindigkeiten sowie einer automatisierten Bereitstellung profitieren. 

Fazit: Kurz gesagt, wenn Sie Ihre Tests im Allgemeinen automatisieren wollen, müssen Sie auch Ihre Testdatenverwaltung automatisieren. IRI erfüllt diese Aufgabe sehr gut, vor allem, wenn seine Testdatenerstellungsprozesse in kundenspezifische oder Standardlösungen für die Bereitstellung von Testdaten integriert werden. 

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datenbankreplikation ❌ In Echtzeit Quelldatenbank(en) überwachen mit automatischer Datenreplikation in Zielsilo(s) ❗

❌ Datenbankreplikation ❌ In Echtzeit Quelldatenbank(en) überwachen mit automatischer Datenreplikation in Zielsilo(s) ❗

By |
Was ist IRI Ripcurrent? Ripcurrent ist der Name einer von IRI entwickelten Java-Anwendung, die die eingebettete Debezium-Engine und die Streaming-Funktion des SortCL-Programms von IRI CoSort kombiniert, um in Echtzeit auf Datenbank-Änderungsereignisse zu reagieren, indem Daten an nachgelagerte Ziele repliziert werden, optional mit Transformationsregeln (z. B. PII-Maskierung), die konsequent auf der Grundlage der Klassifizierung der Daten angewendet werden.

Ripcurrent lässt sich mit Debezium integrieren, um Änderungen von verschiedenen DBs zu verfolgen. Ripcurrent bündelt Debezium-Konnektoren für MySQL, SQL Server, PostgreSQL und Oracle. Debezium unterstützt MongoDB, DB2 und Vitess, aber es ist mehr Arbeit erforderlich, um Ripcurrent für diese zu unterstützen.

Ripcurrent veranlasst SortCL automatisch, auf eingefügte, aktualisierte oder gelöschte Datenzeilen zu reagieren. Dadurch kann eine Reihe gleichwertiger Ziele (wahrscheinlich in einer niedrigeren Umgebung) mit den Quelltabellen synchronisiert und optional konsistente Transformationen auf Feldebene (wie Maskierung) auf die Daten angewendet werden.

Ripcurrent ist ein nahtloses Analogon zu diesem Ansatz für die Verarbeitung von Änderungen an Flat Files in Echtzeit und eine Alternative zu diesem Ansatz, um geänderte DB-Daten inkrementell zu verschieben und zu maskieren.

IRI Ripcurrent kann Änderungen bei jedem Einfügen, Aktualisieren oder Löschen von Zeilen in allen Tabellen einer Datenbank erkennen, mit Ausnahme von Tabellen oder Schemata, die aufgrund der an Ripcurrent übergebenen Konfigurationseigenschaften herausgefiltert wurden.

Zusätzlich werden auch andere Datenbank-Änderungsereignisse, wie z.B. die Änderung der Struktur einer Tabelle, von IRI Ripcurrent überwacht und aufgezeichnet. Nur Datenbank-Änderungsereignisse, die eine Änderung, Hinzufügung oder Löschung von Daten in einer Tabelle beinhalten, veranlassen IRI Ripcurrent dazu, auf dieses Ereignis zu reagieren.

Warum IRI Ripcurrent verwenden? Die Möglichkeit, Daten in Datenbank-Tabellen in andere Datenbank-Tabellen oder Dateien zu replizieren und/oder zu maskieren, wird von IRI-Software seit langem unterstützt. Dies geschieht in der Regel über IRI Workbench, die grafische Benutzeroberfläche für alle IRI-Produkte zur Verwaltung von (strukturierten) Daten.

Der "Schema Data Class Job Wizard" in IRI Workbench – bei dem Daten in einem Schema gesucht und in Datenklassen gruppiert werden – kann mit Maskierungsregeln kombiniert werden. Aus dem Assistenten wird eine Batch-Datei oder ein Shell-Skript generiert, um in FieldShield-Skripten definierte Massenmaskierungsoperationen auszuführen.

Wenn jedoch Änderungen an der Datenbank vorgenommen werden, gibt es keine einfache Möglichkeit, die Änderungen zu replizieren, ohne das Batch-/Shell-Skript erneut auszuführen. Und wenn der Datenbank zusätzliche Tabellen oder neue Spalten zu bestehenden Tabellen hinzugefügt wurden, werden diese ignoriert, es sei denn, der Assistent wird erneut ausgeführt, um ein neues Batch-/Shell-Skript und die entsprechenden IRI FieldShield-Skripts für den Vorgang zu generieren.

Die Notwendigkeit, mit Datenbank-Änderungen synchron zu bleiben, ist die Motivation für die Entwicklung von IRI Ripcurrent. Für diejenigen, die das/die nachgelagerte(n) Ziel(e) mit einer Quell-Datenbank synchron halten wollen, z. B. zu Testzwecken, bietet Ripcurrent die Funktionalität eines Datenbank-Maskierungsauftrags der Datenklasse, jedoch auf dynamische Weise.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Dark Data finden ❌ Gezielter Datenschutz in unstrukturierten Daten wie Microsoft Office-Dokumenten, PDF, Bildern und Textdateien ❗

❌ Dark Data finden ❌ Gezielter Datenschutz in unstrukturierten Daten wie Microsoft Office-Dokumenten, PDF, Bildern und Textdateien ❗

By |
Tensorflow- und PyTorch-NER-Modelle: Die Erkennung von benannten Entitäten (Named Entity Recognition, NER) ist eine Art des maschinellen Lernens (ML), um benannte Entitäten im grammatikalischen Kontext von unstrukturiertem Text (Dokumenten) zu erkennen. NER wird benötigt, um Dinge wie Personennamen und Straßenadressen zu finden, da diese weder Mustern entsprechen, noch wahrscheinlich eine Übereinstimmung mit Werten in einer definierten Liste (Lookup Set) haben.

Da es sich bei vielen Entitäten wie Personennamen oder Adressen um persönlich identifizierbare Informationen (PII) handelt, verwendet IRI DarkShield NER, um solche Daten zu finden und zu maskieren. Während die Kenntnis des Namens einer Person allein vielleicht kein allzu großes Risiko darstellt, erhöht sich in Kombination mit anderen sensiblen Daten das Risiko, dass diese Person zum Ziel von Cyberkriminellen wird, wenn der Datensatz angegriffen wird.

IRI DarkShield unterstützt bereits seit Jahren den Import und das weitere Training von OpenNLP-Modellen zum Auffinden und Maskieren von benannten Entitäten. Neu in der DarkShield RPC API 2022 ist jedoch die Unterstützung für moderne Tensorflow und PyTorch NER Modelle. Dies ist eine bedeutende Verbesserung gegenüber dem ersten Satz schneller, aber weniger NER-Modelle auf Basis von OpenNLP.

NER-Modelle, einschließlich solcher aus Quellen wie dem Hugging Face Model Hub. Allein von diesem Hub sind NER-Modelle in über 100 Sprachen verfügbar. Viele dieser Modelle nutzen die Vorteile der relativ neuen Transformer-Architektur für maschinelles Lernen, um die Trainingszeiten zu verkürzen und die Genauigkeit zu verbessern.

Um den Transformers Search Matcher mit der DarkShield-API zu verwenden, empfehlen wir ein System mit einem Grafikprozessor, um die Inferenz der meisten Modelle zu beschleunigen (in der Regel um mindestens das 20-fache). Die DarkShield-API lädt beim Start des Servers automatisch die für den Transformers-Matcher erforderlichen Abhängigkeiten herunter.

Modelle werden entweder als lokales Verzeichnis oder aus dem Hugging Face Model Hub angegeben. Bei direkter Angabe aus dem Hugging Face Model Hub sollte das Python-Skript model_util.py aus dem Ordner plankton/utils vorher ausgeführt werden, um das Modell herunterzuladen. Diesem Skript können die Argumente des Modells und des Tokenizer-Namens (oft derselbe wie der Modellname) übergeben werden.

Wir werden die Erkennung von benannten Entitäten in englischen, türkischen und japanischen Texten anhand von drei verschiedenen NER-Modellen demonstrieren, die alle im Hugging Face Model Hub verfügbar sind. Hier finden Sie den detaillierten technischen Blog-Artikel!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datenschutz in Excel ❌ Individuelle oder globale Funktionen zur Datenmaskierung in XLS- und XLSX-Dateien ❗

❌ Datenschutz in Excel ❌ Individuelle oder globale Funktionen zur Datenmaskierung in XLS- und XLSX-Dateien ❗

By |
 

Welches ist das beste Tool, um sensible Daten in Excel zu schützen?

Die auch einzeln verfügbaren drei Produkte der IRI Data Protector Suite haben gemeinsame Suchmethoden (wie Muster- oder Wörterbuchabgleiche) und individuell oder global anwendbare Datenmaskierungsfunktionen (wie Verschlüsselung, Redigierung, Hashing und Pseudonymisierung). Alle drei können daher identische und potenziell austauschbare Chiffretexte erzeugen, um Determinismus und Datenintegrität zu wahren. Sie sind auch alle unterstützte Komponenten der IRI Voracity Datenmanagement-Plattform:

  • IRI FieldShield wurde entwickelt, um strukturierte Datenbank- und Flat-File-Daten zu klassifizieren, zu suchen und zu maskieren. FieldShield verwendet das CoSort SortCL-Programm zur Datendefinition und -manipulation, um Quell- und Ziellayouts sowie alle Mapping-/Maskierungstransformationen zu definieren. SortCL verwendet 4GL-Job-Skripte, die in der Regel in der auf Eclipse basierenden IRI Workbench IDE erstellt und verwaltet werden
  • IRI DarkShield wurde in erster Linie für das Auffinden und Maskieren von Daten in halbstrukturierten und unstrukturierten Text- und EDI-Dateien, RDB C/BLOB-Spalten, NoSQL-DB-Sammlungen, Bildern und Dokumenten in PDF- und MS-Office-Formaten entwickelt – einschließlich XLS- und XLSX-kompatibler Dateien, die sogar PII in Diagrammen und Bildern in den Tabellen enthalten können
  • IRI CellShield wurde speziell für das Auffinden und Maskieren von Daten in Tabellenkalkulationen entwickelt und ist das einzige "Shield"-Produkt von IRI, das ausschließlich in der Excel-Umgebung eingesetzt werden kann. CellShield ist als kostengünstige Personal Edition (PE) oder als professionelle Enterprise Edition (EE) mit mehreren Tabellenblättern erhältlich. CellShield PE ist nützlich für die manuelle Suche und Maskierung von PII auf einem einzelnen Blatt. Es bietet eine Point-and-Click-Schnittstelle zu denselben Verschlüsselungs-, Schwärzungs- und Hashing-Funktionen, die auch von den anderen IRI Shield-Produkten unterstützt werden, mit Ausnahme der Pseudonymisierung, die zufällig und nicht deterministisch ist

Jedes dieser Tools kann auch persönlich identifizierbare/geschützte Gesundheitsinformationen (PII/PHI) und andere sensible Daten in MS Excel-Tabellen finden und maskieren. Die Tools unterscheiden sich jedoch in der Excel-Bedienung und der Job-Konfiguration, so dass es wichtig ist, zu wissen, welche(s) Tool(s) in welcher Situation verwendet werden soll(en).

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datensicherheit in der Cloud ❌ Reversible Datenmaskierung in semi- und unstrukturierten Dark Data Dateien in S3, GCP und Azure BLOB ❗

❌ Datensicherheit in der Cloud ❌ Reversible Datenmaskierung in semi- und unstrukturierten Dark Data Dateien in S3, GCP und Azure BLOB ❗

By |
IRI DarkShield ist ein Datenmaskierungswerkzeug zum Auffinden und De-Identifizieren sensibler Daten in semi- und unstrukturierten Dateien und Datenbanken. DarkShield ist eines der drei zentralen Datenmaskierungsprodukte der IRI Data Protector Suite, die grafische Datenklassifizierungs-, Such- und Maskierungsjob-Designmodelle in der IRI Workbench IDE, die auf Eclipse basiert, nutzen können.

Es werden zwei leistungsfähige Remote Procedure Call (RPC) Application Programming Interface (API)-Versionen zur Verfügung gestellt: die "Base" DarkShield API und die DarkShield-Files API. Um sensible Daten in einer Vielzahl von Quellen zu finden und zu schützen, verwenden die DarkShield-APIs spezifizierte Suchabgleiche und Maskierungsregeln, die Geschäftsregeln folgen. Weitere Informationen zur Erstellung von Suchabgleichern und Maskierungsregeln finden Sie in diesem Artikel.

Die DarkShield-Basis-API wird für die Suche und Maskierung von unstrukturiertem Text außerhalb des Dateikontextes verwendet. Alternativ dazu bietet die DarkShield-Files-API die Möglichkeit, Dateien zu durchsuchen und zu maskieren. Mit Hilfe der DarkShield-Files API können semi- und unstrukturierte Daten wie einfache Textdateien, csv/tsv, Word-Dokumente, Excel, pdf, json, xml, parquet, jpeg und png Bilder durchsucht und maskiert werden.

Wir bieten Lösungen mit Datenmaskierungsfunktionen für über 150 semi/un/strukturierten Big (auch Dark) Data Datenquellen: Ausführliche Details finden Sie hier!

Amazon S3, Google Cloud, MS Azure: Auf dem Cloud-Markt für die Speicherung von Dateien, die üblicherweise als BLOBs (Binary Large Object Blocks) bezeichnet werden, gibt es mehrere Wettbewerber. Der Schwerpunkt dieses Artikels liegt auf den drei bekanntesten Anbietern von Cloud-Speicherdiensten: Amazon S3, Google Cloud Storage und Microsoft Azure Storage, und wie die DarkShield-Files API mit diesen öffentlichen Silos genutzt werden kann.

Zuvor konnte IRI DarkShield nur PII in lokalen Dateisystemen suchen und maskieren. Mit der neuesten Version können DarkShield-Benutzer nun jedoch eine weitere wichtige, zielgerichtete Ebene des Datenschutzes zu den Standard-Sicherheitsmaßnahmen hinzufügen, die von Cloud-Speicheranbietern bereitgestellt werden. Dieser Artikel demonstriert, wie die DarkShield-Files-API auf BLOBs in der Cloud zugreifen, sie durchsuchen und PII maskieren kann.

Amazon S3, Google Cloud Storage und Azure BLOB Storage bieten alle Bibliotheken an, mit denen Anwendungscode verwendet werden kann, um von außerhalb der Konsole und der Befehlszeile des Cloud-Speicherdienstes auf Inhalte im Cloud-Speicher zuzugreifen. Für diese Bibliotheken gibt es auch eine ausführliche Dokumentation.

Die DarkShield-File API-Demos, die derzeit auf GitHub hochgeladen werden, sind in der Sprache Python geschrieben; als solche verwenden diese Projekte Client-Bibliotheken für Python. Es können jedoch auch andere aufrufende Sprachen, wie Java, verwendet werden.

Diese aufrufenden Programme oder der "Glue Code" für die API ist der Ort, an dem die Cloud-Speicher- (oder andere spezialisierte Eingabe- und/oder) Verfahren definiert werden können. Siehe den Beispielcode unten für die IRI DarkShield API:

  1. Amazon S3-Demo
  2. Google Cloud-Speicher-Demo
  3. Microsoft Azure BLOB-Speicher-Demo

Fazit: Dank der Flexibilität der kodierbaren Lösungen ist die DarkShield-Files-API hinsichtlich der Datenquellen, auf die sie zugreifen kann, nicht eingeschränkt. Die API ermöglicht eine kritische und hochgranulare Schutzebene für Daten in der Cloud. Durch das Durchsuchen und Maskieren sensibler Daten, die sich in BLOBs in der Cloud befinden, kann die Datensicherheit selbst im Falle kompromittierter Konten oder eines unzulässigen Zugriffs auf den Speicher in der Cloud aufrechterhalten werden.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ TDM Tool ❌ Vielschichtiges Testdatenmanagement-Framework für DevOps, MLOps und DataOps bereitstellen❗

❌ TDM Tool ❌ Vielschichtiges Testdatenmanagement-Framework für DevOps, MLOps und DataOps bereitstellen❗

By |
Sicheres Testdatenmanagement: Daten, die durch Anwendungsentwicklung, maschinelles Lernen und Analysepipelines fließen, müssen mehrere Anforderungen erfüllen, die allen Bereichen gemeinsam sind, darunter:

  1. Realitätsnähe, um die Eigenschaften der Produktionsdaten und die Anforderungen der Anwendungstests widerzuspiegeln
  2. Konformität mit Geschäfts- und Datenschutzregeln sowie DB- und Analysemodellen
  3. Verfügbarkeit oder Sicherheit der Daten (je nach Sichtweise)
  4. Nachvollziehbarkeit für die Abstammung und Verantwortlichkeit

Die an diesen Pipelines beteiligten Akteure verstehen diese Anforderungen aus ihrer eigenen Perspektive. IRI, auch bekannt als "The CoSort Company", bietet ein vielschichtiges Testdatenmanagement-Framework, um diese Anforderungen zu erfüllen. Die Rolle von IRI in diesem weiten Bereich begann mit der Notwendigkeit, umfangreiche, realistische Daten zu erstellen, um das Volumen und die Vielfalt der Datenumwandlungs- und Formatierungsaktivitäten zu testen, die im IRI CoSort-Produkt zur Datenmanipulation unterstützt werden.

Unter Verwendung der zentralen "SortCL"-Datendefinitionssprache und des Verarbeitungsprogramms von CoSort änderte IRI die Eingabephase seines ETL-Prozesses vom Lesen von Dateien zum Erstellen von Dateien, entweder durch die Generierung von Zufallswerten für bestimmte Datentypen und -bereiche und/oder die zufällige Auswahl von Daten aus externen Beständen.

Sichere und schnelle Lösung für TDM: 2004 brachte IRI das RowGen-Spin-Off-Produkt von SortCL auf den Markt und erweiterte es später, um vorsortierte, strukturell und referenziell korrekte RDB-Schemata nur aus DDL-Details zu analysieren, zu synthetisieren und zu laden. RowGen kann jetzt auch: neue Datenformate und rechnerisch gültige CCNs und NIDs generieren sowie Sätze für die Behandlung von All-Pairs; Nullen und realistische Wertverteilungen erstellen; in ETL- und CI/CD-Pipelines arbeiten; und Testdaten in halb- und unstrukturierten Quellen wie EDI- und Excel-Dateien, PDF- und Word-Dokumenten und Bildern mit eingebetteten Testdaten auffüllen, wenn sie mit der IRI DarkShield-Such-/Masken-API verwendet werden.

Testdaten für DevOps (TestOps): DevOps rationalisiert die Abläufe im Softwareentwicklungszyklus (SDLC), um die Softwarebereitstellung zu beschleunigen. Viele Entwickler nutzen CI/CD-Pipelines, um Software-Releases agiler und kontinuierlicher zu gestalten. Testdaten, die mit den Datenmaskierungs-, Subsetting- oder Synthesetools von IRI Voracity erstellt wurden, können von Jenkins, Amazon CodePipeline, Azure DevOps, GitLab usw. ausgeführt und genutzt werden, um die Funktionalität und Kapazität der Software bei jedem Build zu bewerten.

Die aufkommende TestOps-Disziplin verwaltet die operativen Aspekte des Testens im SDLC, wozu das Sammeln, Vorbereiten und Sichern von Expositionsdaten, Produktionssystemen und Testfallquellen gehört … um die Testabdeckung, Mitarbeiter und Aktivitäten zu skalieren (aber auch um die Softwarequalität zu gewährleisten). Intelligente Datenintegration und Anonymisierung dieser Quellen in Voracity spielt daher eine Schlüsselrolle für TestOps und verbessert gleichzeitig die DevOps-QA und mildert Datenschutzrisiken.

Testdaten für MLOps: Reichhaltige, anonyme Daten helfen auch beim Testen von maschinellen Lernvorgängen (MLOps), zu denen das Speichern, Laden und Transformieren von Daten sowie das Testen von Modellen und die Datenvalidierung gehören. Für jede dieser Phasen kann zum Beispiel das IRI RowGen Produkt in Voracity schnell riesige, realistische Dateien in Bulk-Load (z.B. CSV) und ML-Modellformaten wie PMML/XML und PFA/JSON synthetisieren.

Alternativ können die FieldShield oder DarkShield Datenerkennungs- und Maskierungswerkzeuge in Voracity Datenbanksammlungen, Dateien oder Datenströme, die beim maschinellen Lernen verwendet werden, für die sichere Verwendung beim Testen durchsuchen und säubern.

Testdaten für DataOps: Die Implementierung eines DataOps-Testansatzes für ETL-Projekte bedeutet die Automatisierung von Tests für Quell- und Zieldatensätze und die Sicherstellung, dass diese Sätze die Eigenschaften von Daten widerspiegeln, die in echten Analysemodellen verwendet werden, ohne Personen zu identifizieren. IRI-Software erleichtert die Datenintegration und die Automatisierung von Analysetests auf verschiedene Weise.

Eine Möglichkeit besteht in der Kombination von Datentransformation und -verarbeitung mit Datenmaskierung oder -synthese. Einzigartig an Voracity ist die Back-End-Metadaten- und Engine-Unterstützung für eine solche Aufgabenkonsolidierung. In einem einzigen E/A-Durchlauf durch das oben erwähnte SortCL-Datenverarbeitungsprogramm können Voracity-Benutzer gleichzeitig Testdaten synthetisieren, transformieren und in mehrere künstliche, aber realistische Analyseziele formatieren. Umgekehrt kann das Programm eine oder mehrere Produktionsquellen lesen, sie integrieren und transformieren sowie Daten bereinigen, maskieren und in die gewünschten Ziele umformatieren.

Eine weitere Möglichkeit ist die Datenintegrations-Vorschau-Funktion für Voracity ETL-Architekten, die einen Mapping-Job mit automatisch generierten Testdaten durchführt. Diese Option erstellt Ziel-Subsets mit realistischen Testdaten, so dass Architekten ihre Transformationslogik und ihr Output-Layout validieren können.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datenschutz im Bild ❌ Bildvorverarbeitung um sensible Daten in Bildern zu finden und per Datenmaskierung direkt GDPR-konform zu schützen❗

❌ Datenschutz im Bild ❌ Bildvorverarbeitung um sensible Daten in Bildern zu finden und per Datenmaskierung direkt GDPR-konform zu schützen❗

By |
Vorverarbeitung von Bildern zur Verbesserung der OCR-Ergebnisse: OCR-Software (Optical Character Recognition) ist eine Technologie zur Erkennung von Text in einem digitalen Bild. OCR wird von der IRI DarkShield-Software verwendet, um Text in eigenständigen oder eingebetteten Bildern während der PII-Suche und -Maskierungsvorgänge zu erkennen.

OCR hat jedoch ihre Grenzen: Um genaue Ergebnisse zu erzielen, muss das Bild vertikal ausgerichtet sein, die richtige Größe haben und so klar wie möglich sein. Nicht jedes Bild erfüllt diese Anforderungen! Wir müssen daher Methoden finden und anwenden, um diese Bilder durch Vorverarbeitung an unsere Bedürfnisse anzupassen. In diesem Artikel werden einige Vorverarbeitungsmethoden vorgestellt und erläutert, wie sie die Qualität der OCR-Ausgabe im Zusammenhang mit der DarkShield-Datenmaskierung verbessern können.

In dem Artikel werden 3 Vorverarbeitungsmethoden aufgezeigt:

  1. Bildskalierung
  2. Binarisierung
  3. Entzerrung

Diese auf GitHub verfügbare Demo demonstriert, wie die in diesem Artikel besprochenen Vorverarbeitungsmethoden mit der DarkShield-API für (Bild-)Dateien integriert werden können. Das Demoprogramm erlaubt es, entweder ein einzelnes Bild oder einen Ordner mit Bildern für die Vorverarbeitung anzugeben. Jedes Bild wird zunächst vorverarbeitet, zur Suche und Maskierung an die DarkShield-Files-API gesendet und dann nachbearbeitet, um das Originalbild wiederherzustellen.

In solchen Fällen enthält das Bild immer noch alle Black Boxes, die von der DarkShield-Files-API platziert wurden, um sensible Daten zu maskieren. Beachten Sie, dass es bei Anwendung der adaptiven Binarisierung als eine der Vorverarbeitungsmethoden nicht möglich ist, die ursprüngliche Farbgebung des Bildes wiederherzustellen.

Die Bilder werden in einem Verzeichnis mit dem Namen masked gespeichert, das automatisch erstellt wird, wenn es beim Ausführen der Demo noch nicht existiert. Dem Programm können zusätzliche Argumente angegeben werden, die bestimmen, ob eine Pipeline verwendet werden soll.

Alle Details finden Sie in diesem ausführlichen Blog-Artikel unseres Partners IRI Inc.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Backup mit Commvault ❌ Oracle Datenbank mit Datensicherheit von sensiblen Daten per bspw. Datenmaskierung ❗

❌ Backup mit Commvault ❌ Oracle Datenbank mit Datensicherheit von sensiblen Daten per bspw. Datenmaskierung ❗

By |
Sichere Datenverarbeitung von geklonter Datenbank: Das Sicherheitsprodukt IRI FieldShield maskiert sensible Daten in der geklonten Datenbank, bevor die Daten für die Entwicklung und Qualitätssicherung zur Verfügung stehen!

Nachdem Sie eine Oracle-Datenbank geklont haben, können Sie die Commvault-Software mit unserer Datenmaskierung via Plug-In ausführen lassen. Die Commvault-Software ist bei unserem IRI FieldShield integriert. Die Anleitung finden Sie direkt bei Commvault V11 Service Pack 17 unter: "Configuring Third-Party Data Masking for Oracle Database Clones"

Was ist FieldShield? IRI FieldShield® ist eine leistungsstarke und kostengünstige Software zur Datenerkennung und –maskierung von PII in strukturierten und semistrukturierten Quellen, groß und klein. Die FieldShield-Dienstprogramme in Eclipse dienen zur Profilierung und De-Identifizierung von Daten im Ruhezustand (statische Datenmaskierung) und das FieldShield SDK wird zur Sicherung von Daten in Bewegung (dynamische Datenmaskierung) verwendet.

Zusätzlich lassen sich die verwandten Produkte IRI CellShield (für PII-Schutz in Excel) und IRI DarkShield (für den Schutz von/in Dark Data wie unstrukturierte Text-, Dokumenten- und Bilddateien) zusammen mit FieldShield ebenfalls kostenlos in den Abonnements der IRI Voracity Datenmanagement-Plattform integrieren.

Was macht FieldShield? FieldShield klassifiziert, durchsucht und schützt Feldwerte in DBs und Flat-Files mit den branchenweit umfangreichsten Funktionen zur Datenmaskierung und Anonymisierung. FieldShield misst statistisch die Wahrscheinlichkeit, dass Quasi-Identifikatoren jemanden neu identifizieren können. Und FieldShield erstellt umfangreiche Audit-Protokolle zur Überprüfung der Compliance!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ UniKix TPE und BPE ❌ Transaktionsverarbeitung und Batch-Sortierung von VSAM- und sequentiellen Daten ❗

❌ UniKix TPE und BPE ❌ Transaktionsverarbeitung und Batch-Sortierung von VSAM- und sequentiellen Daten ❗

By |
 

Mainframe CICS Sort Rehosting: JCL Sorts in UniKix BPE und TPE migrieren!

Herausforderungen: Wenn Sie vom Mainframe zu "offenen Systemen" wechseln, arbeiten Sie möglicherweise mit dem Mainframe Rehosting Solutions Team von NTT DATA (früher Dell, Clerity, Sun, Blue Phoenix und UniKix) zusammen. Eine der Komponenten Ihrer Migration wird das Sortierpaket sein. Sie benötigen eine Lösung für die Konvertierung von JCL-Sortierschritten, die Verarbeitung von VSAM-Dateien, die damit verbundene Datentransformation und Berichtsdienste unter Unix oder Windows.

Möglicherweise suchen Sie auch nach einer Möglichkeit, eine Vielzahl anderer Datenmanagement- und Schutzvorgänge gleichzeitig zu modernisieren und möchten lieber mit einem einzigen, bewährten und erschwinglichen Anbieter zusammenarbeiten und gleichzeitig die Lernkurve und die Komplexität der Tools mehrerer Anbieter reduzieren.

Lösungen: IRI CoSort ist Teil der NTT Data Mainframe Reference Architecture sowie eine seit Jahrzehnten bewährte Lösung für die Migration von Legacy-Sortiersoftware (einschließlich automatischer JCL-Parm-Konvertierung) und Anwendungsmodernisierung. Seit 1985, als CoSort erstmals auf Unix-Systemen zur Verfügung gestellt wurde, wurde es als "The Open Systems Standard" für Sortiersoftware weltweit bekannt.

Dank der engen Zusammenarbeit mit NTT Data und seinen Vorgängern können Sie die Leistungsfähigkeit von CoSort direkt in der UniKix Batch Processing Environment (UniKix BPE) und UniKix Transaction Processing Environment (UniKix TPE) nutzen. Diese Umgebungen unterstützen mehrere Mainframe-Datentypen, einschließlich Virtual Storage Access Method (VSAM), sequentielle und relationale Daten.

Die CoSort-Pakete enthalten auch kostenlose z/OS MVS- und VSE-Sortierparm-Übersetzungstools, um JCL-äquivalente Jobskripte zu erstellen, die in CoSort Sort Sort Control Language (SortCL)-Programmen verwendet werden können. Diese Übersetzer bilden auch die JCL-Befehle für andere ältere Sortier-/Merge-Softwarefunktionen auf SortCL ab, einschließlich: Datensatzauswahl, Feldformatierung, Aggregation, Deduplizierung und Datentypkonvertierung. IRI kann Ihnen auch helfen, viele ICETOOL-, IEBGENER- und File-AID-Aufträge in SortCL-Äquivalente zu verschieben, um Ihnen langfristig Geld zu sparen.

Neben den "Lift and Shift"-Aktivitäten positioniert sich CoSort einzigartig und kostengünstig für eine Vielzahl großer Herausforderungen in den Bereichen Datenverarbeitung und Governance außerhalb des Mainframes. Durch SortCL und die breitere IRI Voracity Datenmanagement-Plattform können CoSort-Anwender:

  • Schnelle Integration von Daten für Data Warehouse und Data Lake Betrieb
  • Daten für BI und Analytik auszuwerten oder zu bereinigen
  • PII durch Maskierung auf Feldebene schützen
  • Verbesserung der Datenqualität
  • Intelligente, sichere Testdaten generieren

Alle diese Aktivitäten verwenden die gleichen einfachen SortCL 4GL-Skripte von CoSort und werden in einer kostenlosen Eclipse IDE für Job Design, der IRI Workbench, unterstützt.

Wenn Sie an einer Mainframe-Migration beteiligt sind und CoSort und die dazugehörige Konvertierungshilfe benötigen, wenden Sie sich bitte an uns oder NTT Data für Referenzen und weitere Informationen.

BS2000/OSD: Wir sind seit Jahrzehnten zudem starker Softwarepartner von einst SIEMENS für BS2000 Großrechner und auch noch heute sind unsere Produkte der Standard von Fujitsu´s verbreitetenden Mainframes.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

Für die oben stehenden Pressemitteilungen, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber verantwortlich. Dieser ist in der Regel auch Urheber der Pressetexte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber.