❌ Datenmigration ❌ Datenkonvertierung und Datenformatierung von legacy und modernen Daten ❗
IRI NextForm ist das neueste Produkt im Bereich Datenmanagement, das von IRI in Eclipse unterstützt wird. Als Weiterentwicklung SortCL-Programm in IRI CoSort handelt es sich bei IRI NextForm um eine Software für Datenmigration und -formatierung. Sie ermöglicht die Konvertierung und Wiederverwendung von Daten, die in legacy- und modernen Datenbanken, Index- und sequenziellen Dateien, Hadoop- sowie Dark Data (unstrukturierte) Dokumenten gespeichert sind. Mit NextForm können Sie Ihre Daten auf neue Weise anwenden und anzeigen – sei es in neuen Dateien und Tabellen, benutzerdefinierten Berichten, BI-Tools, virtualisierten Ansichten und mehr. NextForm verarbeitet Daten in all diesen Bereichen:
1. Dateiformate:
- CSV
- Delimited Text
- Fixed-Position Text
- LDIF
- Micro Focus Variable Length
- Micro Focus ISAM¹
- Line / Record / Variable Sequential
- Variable Blocked
- Vision¹
- VSAM, QSAM, KSAM, C-ISAM²
- XLS (Excel)
- XML³
2. Datenbanken / RDBMS:
- Oracle
- DB2 UDB
- DB2 Mainframe²
- MySQL
- SQL Server
- Sybase
- Teradata
3.Unstrukturierte Quellen:
- ASN.1 TAP3
- .DOC, .DOCX
- .EML, .OST, .PST
- .PDF, RTF
- .PPT, .PPTX
- .TXT, .XML
- .XLS, .XLSX
4. Dateigruppen:
- ASCII (C types)
- Numerik (alle)
- EBCDIC MF & RM COBOL
- Endian (Big, Little, BOM)
- Datum
- Zeitstempel
- Composite
- Single-Byte
- Multi-Byte (CJK, Thai)
- Unicode (UTF-16)
- Packed Decimal
- Zoned Decimal
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ Datenschutzlösungen ❌ Datenschutz gemäß der nationalen DSGVO, internationalen GDPR und globalen Compliance ❗
Datenschutzgesetze zielen darauf ab, den Menschen die Kontrolle über ihre persönlichen Informationen zurückzugeben, haben jedoch auch Auswirkungen auf die internationale Datenbewegung. Die Implementierung solcher Gesetze ist bilateral, erfordert also die Zustimmung von Ländern, die Daten austauschen. Die Durchsetzung von Datenschutzgesetzen erfordert nicht nur technische Maßnahmen, sondern auch eine effektive Datenschutzkultur in Unternehmen. Diese Informationen sind besonders relevant für Manager in Unternehmen, die Datenschutzgesetzen unterliegen, sowie für Mitarbeiter, die an der Umsetzung von Datenschutzrichtlinien beteiligt sind.
Der Anbieter IRI ist ein privat geführter Softwareanbieter (ISV), der 1978 gegründet wurde. Mit Sitz in Florida und einem weltweiten Partnernetzwerk bietet IRI seine Hauptplattform, Voracity, an. Diese Datenmanagementlösung umfasst Produkte für Datenschutz, insbesondere für die Einhaltung von Datenschutzgesetzen wie der DSGVO. IRI bietet Werkzeuge zur PII-Schutz, Entdeckung und De-Identifikation sowie Schulungsmaterialien an. Die Lösungen adressieren verschiedene Anwendungsfälle im Zusammenhang mit Datenschutzbestimmungen und betonen die Bedeutung von Vertrauen und Risikomanagement.
Die Einhaltung von Datenschutzgesetzen, insbesondere der DSGVO, ist nicht nur eine gesetzliche Anforderung, sondern stärkt auch das Vertrauen der Kunden, Reputationsschäden werden verhindert und die Beziehungen zu Partnern und Kunden verbessert. Es wird darauf hingewiesen, dass Datenschutz nicht nur eine geschäftliche Notwendigkeit, sondern auch ein positiver Beitrag zur Unternehmenskultur ist!
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ Echtzeit Dateiüberwachung ❌ POC um Jobs automatisch durch Änderungen in den Quelldateien auszulösen ❗
Das manuelle Auslösen von SortCL-kompatiblen Jobs in IRI Voracity ETL-, IRI CoSort Reporting-, IRI FieldShield Datenmaskierung- oder IRI NextForm-Migrationsszenarien ist in Umgebungen, in denen Daten in Quellen dynamisch hinzugefügt oder geändert werden, weder realistisch noch produktiv. Im Gegensatz dazu macht die Automatisierung von Aufträgen in Echtzeit manuelle Aufrufe überflüssig und stellt sicher, dass die richtigen Aufträge rechtzeitig ausgeführt werden.
Datei-Überwachung Übersicht: Die Dateiüberwachung wird im Allgemeinen dazu verwendet, um festzustellen, ob eine Datei in einem Verzeichnis erstellt, geändert, umbenannt oder gelöscht wurde. Die beiden Hauptmethoden, die zur Ermittlung von Änderungen in einem Verzeichnis verwendet werden können, sind Polling und ereignisgesteuert.
Beim Polling werden Änderungen an Verzeichnissen ermittelt, indem in regelmäßigen Abständen eine Liste von Dateiinformationen in einem Verzeichnis abgerufen und mit einer Liste verglichen wird, die zuvor zwischengespeichert wurde.
Beim ereignisgesteuerten Ansatz benachrichtigt das Betriebssystem oder Subsystem eine Anwendung über Ereignisse, wenn sich der Inhalt eines Verzeichnisses ändert. Der ereignisgesteuerte Ansatz ist in der Regel effizienter, da er nicht die ständige Ausführung von Code erfordert, um festzustellen, dass sich etwas geändert hat.
In diesem Beitrag geht es um den ereignisgesteuerten Ansatz mit PowerShell 5.1 und der Microsoft .NET FileSystemWatcher-Klasse auf der Windows-Plattform. Wenn es um die Überwachung von Dateien geht, ist dies nicht die einzige Option. Einige andere Beispiele sind der Watch Service von Java und Linux inotify.
Viele der in diesem Beitrag besprochenen Konzepte gelten unabhängig von der Entwicklungssprache oder Plattform. PowerShell ist auch für Linux und macOS als Teil von Open Source .NET Core verfügbar.
Zusammenfassung: In diesem Beitrag haben wir die Vorteile der Automatisierung von SortCL-Job-Skriptausführungen für Echtzeit-Dateisystemereignisse erläutert. Anschließend haben wir ein Konzept und eine Implementierung vorgestellt, bei der diese Jobs ausgeführt werden, wenn Dateien in einem überwachten Verzeichnis erstellt oder aktualisiert werden.
Der in diesem Beitrag vorgestellte Ansatz sollte Ihnen einen guten Start für Ihre eigenen Automatisierungsbemühungen bieten. Ein weiterer Beitrag wird sich mit der Auslösung von SortCL-Jobs in Echtzeit durch Datenbankaktualisierungen befassen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ Datenbankreorganisation ❌ Reorg von Datenbanken um Datenbankleistung zu verbessern und Speicherplatz zu sparen ❗
Daten in großen RDBMS-Tabellen werden mit der Zeit fragmentiert. Die Größe von Tabellen und Indizes nimmt zu, da Datensätze auf mehr Datenseiten verteilt werden. Mehr Seitenzugriffe und Zeilen in nicht sortierter Reihenfolge während der Abfrageausführung verlangsamen die Abfrageantworten. Um den verschwendeten Platz zurückzugewinnen, die Verfügbarkeit der Datenbank zu verbessern und den Zugriff auf Daten zu beschleunigen (Abfrageantworten), sollten Sie eine Strategie für die Reorganisation Ihrer Datenbankobjekte in Betracht ziehen.
Datenbank-Reorganisationen bestehen aus zwei Typen für diese Tabellen-, Index- und Tablespace-Objekte: Online (in-place) und Offline (klassisch).
Online-Datenbank-Reorganisationen: Sie arbeiten inkrementell, indem sie Zeilen innerhalb der vorhandenen Tabelle verschieben, um die Clusterbildung wiederherzustellen, freien Speicherplatz zurückzugewinnen und Überlaufzeilen zu eliminieren. Objekte sind nur für kurze Zeit am Ende nicht verfügbar, nicht jedoch während der Lade- und Wiederaufbauphasen, die bei großen Objekten langwierig sein können. Sie ermöglichen es Anwendungen, sich mit der Datenbank zu verbinden, verlangsamen jedoch oft deren Leistung und können zu Wartezeiten für Sperren führen.
Offline-Datenbank-Reorganisationen: Sie sind schneller, können jedoch die Datenbank offline nehmen (wenn das Datenbank-Reorganisationsdienstprogramm verwendet wird). Bei dieser Methode werden Daten aus der Datenbank in eine Dump-Datei exportiert (Unload). Die Datenbankobjekte werden auf Grundlage des Extrakts wieder aufgebaut, typischerweise neu geordnet (Sortierung). Sie werden dann in denselben Tablespace zurückgeführt (Load), wobei Indizes implizit wiederhergestellt werden (Rebuild).
Leistungsorientierte Datenbankadministratoren verwenden IRI FACT (Fast Extract) für das Unload, das eine portable Flat-File erstellt, die auf dem Primärschlüssel des reorganisierten Tables sortiert werden kann (mit IRI CoSort). Mit diesem Ansatz können auch andere Transformations- und Berichtsoperationen durchgeführt werden, und die Datenbank bleibt online. Vorsortierte, direkte Pfad-Ladungen umgehen auch das Sortieren (Overhead) des Datenbank-Laders. All diese Operationen sind im IRI Workbench Offline-Reorg-Assistenten automatisiert.
Es sollte nicht besonders belastend sein, eine "Schatten"-Kopie der Daten für jede Tabelle im Dateisystem zu halten, denn sobald die Flat-File sortiert und neu geladen ist, kann sie gelöscht werden. Gleichzeitig ermöglicht es die Externalisierung der Reorg-Daten und die Verfügbarkeit für CoSort auch die Möglichkeit für andere Verwendungen der Daten, einschließlich Archivierung, Berichterstellung, Schutz und Migration zu anderen Datenbank-, BI-Tool- und Anwendungszielen.
Die Einschränkung besteht natürlich darin, dass während des Unloads andere Systembenutzer die Tabelle lesen und möglicherweise aktualisieren können, sodass Aktualisierungen während dieser Zeit die Neuverladung verpassen und Inkonsistenzen im Ziel verursachen könnten. Es wird daher empfohlen, Offline-Reorganisationen durchzuführen, wenn keine Aktualisierungen stattfinden.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ Sensible Cloud-Daten schützen ❌ Automatische Datenmaskierung in NoSQL wie Google Bigtable, Azure Cosmos DB und Amazon DynamoDB ❗
Frühere Artikel in diesem Blog beschäftigten sich bereits damit, wie DarkShield-Assistenten in der IRI Workbench Daten in anderen populären NoSQL-Datenbanken, darunter Cassandra, Elasticsearch und MongoDB, finden und maskieren können. Ein weiterer Artikel widmet sich den Datenbanken CouchDB, Redis und Solr.
Obwohl es eine umfassende Liste von Sicherheitspraktiken für Endpunkte in NoSQL-Datenbanken gibt, können Angreifer dennoch Schwachstellen in diesen Verteidigungsmaßnahmen ausnutzen. Daher ist es für Unternehmen entscheidend, das Sicherheitsprofil dieser Datenbanken um eine zusätzliche Schutzebene zu erweitern.
Hier kommt IRI DarkShield ins Spiel. Als datenzentrierte oder "Startpunkt-Sicherheitslösung" bietet DarkShield Masking eine weitere wichtige Ebene des Datenschutzes zusätzlich zu den von Cloud-Datenbankdienstleistern implementierten Endpunktmaßnahmen.
Über IRI DarkShield: IRI DarkShield ist ein Datenmaskierungstool, das dazu dient, sensible Daten in semistrukturierten und unstrukturierten Dateien und Datenbanken zu identifizieren und zu de-identifizieren. DarkShield ist eines der drei zentralen Produkte der IRI Data Protector Suite, die grafische Modelle für Datenklassifizierung, Suche und Maskierung in der IRI Workbench IDE auf Eclipse-Basis verwendet.
Ab Version 4 bietet DarkShield außerdem zwei leistungsfähige Remote Procedure Call (RPC) Application Programming Interface (API)-Versionen an: die "Base" DarkShield API und die DarkShield-Files API. Diese APIs ermöglichen die Erweiterung der DarkShield-Funktionalität außerhalb der Workbench und nutzen ein Plugin namens Plankton auf der IRI-Web-Services-Plattform.
Die DarkShield-Basis-API wird verwendet, um unstrukturierten Text außerhalb des Dateikontextes zu suchen und zu maskieren. Alternativ dazu ermöglicht die DarkShield-Files-API die Suche und Maskierung von PII in Dateien.
Mithilfe der DarkShield-Files-API können halbstrukturierte und unstrukturierte Daten in verschiedenen Formaten, darunter einfache Textdateien, csv/tsv, Word-Dokumente, Excel, pdf, json, xml, parquet sowie jpeg- und png-Bilder durchsucht und maskiert werden.
AWS DynamoDB, Azure CosmosDB, Google BigTable und die DarkShield-API: Dieser Artikel konzentriert sich auf die führenden Anbieter von Cloud-Diensten für NoSQL-Datenbanken: Amazon AWS mit DynamoDB, Microsoft Azure mit CosmosDB und Google Cloud mit Bigtable. Der Schwerpunkt liegt darauf, wie die DarkShield-Files-API genutzt werden kann, um in ihren Cloud-NoSQL-Datenbanken nach PII zu suchen und diese zu maskieren.
Für diejenigen, die nicht mit der programmatischen Verbindung und Abfrage von NoSQL-Datenbanken vertraut sind, bietet AWS, Azure und Google Cloud umfassende Dokumentationen und Software Development Toolkits (SDKs) in verschiedenen Programmiersprachen an.
Die DarkShield-Files-API-Demos, die derzeit auf GitHub verfügbar sind, sind in Python geschrieben. Daher verwenden diese Projekte Client-Bibliotheken für Python, aber es können auch andere aufrufende Sprachen wie Java verwendet werden. Die aufrufenden Programme oder "Glue Code" für die API sind der Ort, an dem diese Prozeduren definiert werden können. Hier sind die Links zu den DarkShield-Files-API-Demos für Azure CosmosDB, AWS DynamoDB und Google Cloud Bigtable.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ Datenbankreplikation ❌ In Echtzeit Änderungen (CDC) von Datenbank automatisch erkennen und verwalten ❗
Im vergangenen Jahr wurde ein vielseitiges Modul eingeführt, das das Generieren, Profilieren, Migrieren zu und Prototypisieren von Data Vault 2.0-Modellen ermöglichte. Dieses Jahr wurde die wegweisende Funktion "IRI Ripcurrent" in Voracity eingeführt, um in Echtzeit Änderungen in der Struktur und dem Inhalt von Datenbankspalten zu verwalten.
IRI Ripcurrent erkennt automatisch neue, aktualisierte oder gelöschte Zeilen sowie Änderungen an der Struktur einer Tabelle oder eines Schemas. Es reagiert darauf auf verschiedene Arten, darunter:
- Datenreplikation: Aktualisierung von Testzielen innerhalb derselben oder einer anderen Datenbank.
- Inkrementelle Datenmaskierung: Verwendung konsistenter Funktionen basierend auf Datenklassen.
- Delta-Reporting: Vergleich und Analyse neuer Daten mit früheren Versionen.
- Benachrichtigungen: Meldung struktureller Änderungen des Schemas, um neue Suchaufträge auszulösen, usw.
Ripcurrent kann nahtlos mit Debezium integriert werden, um Änderungen von verschiedenen Datenbanken zu verfolgen. Es unterstützt Debezium-Konnektoren für MySQL, SQL Server, PostgreSQL und Oracle, und mit geringfügigen Anpassungen werden auch MongoDB, DB2 und Vitess unterstützt.
Weitere Informationen über Ripcurrent und die Funktionsweise dieser automatischen Prozesse finden Sie in einer Reihe von Blogartikeln, die mit diesem Artikel beginnen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ Datenschutz in Elasticsearch ❌ Sensible Daten im NoSQL-Format wie CSV und JSON automatisch finden und schützen ❗
Die preisgekrönte datenzentrische Sicherheitssoftware von IRI hat sich in verschiedenen Umgebungen bewährt und bietet Lösungen zur Verhinderung von Verstößen, Einhaltung des Datenschutzes und DevOps (Testdaten). Nutzen Sie die spezialisierten Datenschutzprodukte von IRI oder die umfassende IRI Voracity-Plattform, um sensible Daten in beliebiger Form und an jedem Ort zu identifizieren und zu maskieren. Damit können Sie nachweisen, dass Sie die Daten konform geschützt haben.
IRI FieldShield ermöglicht das Finden, Klassifizieren und Maskieren von risikobehafteter PII in Legacy-Dateien, relationalen und NoSQL-Datenbanken sowie Cloud-Anwendungen. Dabei kommen Methoden wie AES-256 FPE, Hashing, Redaktion, Pseudonymisierung und Tokenisierung zum Einsatz.
IRI DarkShield dagegen klassifiziert, lokalisiert und de-identifiziert oder löscht PII und andere sensible Informationen in semi/unstrukturierten Texten, PDFs, Office-Dateien und Elasticsearch-Sammlungen. Es generiert zudem Such- und Prüfergebnisse.
Mit IRI CellShield können PII in einer oder mehreren Excel®-Tabellen gefunden, berichtet, maskiert und überprüft werden.
Die End-to-End Datenmanagement-Plattform IRI Voracity integriert alle diese Lösungen. Sie bietet Datenmaskierung und Testdatenmanagement innerhalb einer umfassenden Plattform für den gesamten Datenlebenszyklus. Neben FieldShield enthält Voracity IRI RowGen, mit dem intelligente Testdaten für DB/ETL-Prototyping, PII-Fertigung und Anwendungs-Stresstests erstellt werden können.
Weitere Details zum Elasticsearch-Setup und zur PII-Suche und Maskierung finden Sie im Blog-Artikel. Wenn Sie keinen Elasticsearch-Cluster haben, können Sie einfach einen lokalen Cluster erstellen, indem Sie Elasticsearch hier herunterladen und der Anleitung folgen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ Tuning von Datadog ❌ Schnellere Datenintegration und Datentransformation mit DSGVO-konformen Daten ❗
Dieser Beitrag markiert den Beginn einer 4-teiligen Serie über die Integration der Datadog Cloud-Analyseplattform mit verschiedenen Arten von Daten aus IRI Voracity-Operationen. Insbesondere wenn es darum geht, eine beträchtliche Datenmenge offline vorzubereiten, bevor sie ausgegeben wird und diese Daten auf einer Infrastruktur außerhalb von Datadog verarbeitet werden kann, bietet Voracity eine leistungsstarke Big Data-Wrangling-Lösung:
- Der Schwerpunkt dieses Artikels liegt auf der Datenvorbereitung in Voracity und der Konfiguration von Datadog, um diese Daten zu empfangen.
- Dieser Artikel legt den Fokus auf die Visualisierung von in Voracity verarbeiteten Daten in Datadog.
- Der Inhalt dieses Artikels konzentriert sich auf die Visualisierung von Suchprotokollen zur Verschleierung unstrukturierter Daten in Datadog für Sicherheitsanalysen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ Sensible Informationen in Excel schützen ❌ DSGVO-konformer Datenschutz von sensiblen Daten in XLS- und XLSX-Dateien ❗
Die Produkte gewährleisten Determinismus und Datenintegrität, indem sie identische Chiffretexte erzeugen. Sie sind auch integrale Komponenten der IRI Voracity Datenmanagement-Plattform:
- IRI CellShield wurde speziell für die Suche und Maskierung von Daten in Tabellenkalkulationen entwickelt und ist das einzige "Shield"-Produkt von IRI, das ausschließlich in der Excel-Umgebung eingesetzt werden kann.
- IRI FieldShield klassifiziert, sucht und maskiert strukturierte Datenbank- und Flat-File-Daten. Es verwendet das CoSort SortCL-Programm für die Datendefinition und -manipulation.
- IRI DarkShield ist auf das Auffinden und Maskieren von Daten in halbstrukturierten und unstrukturierten Texten, EDI-Dateien, RDB C/BLOB-Spalten, NoSQL-DB-Sammlungen, Bildern und PDF-/MS-Office-Dokumenten spezialisiert.
Alle Tools können persönlich identifizierbare/geschützte Gesundheitsinformationen (PII/PHI) und andere sensible Daten in Microsoft Excel-Tabellen finden und maskieren. Die Auswahl des richtigen Tools hängt von der Excel-Bedienung und der Job-Konfiguration ab, wobei jedes Tool spezifische Stärken in unterschiedlichen Situationen aufweist.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ Tuning von Talend ❌ Talend Data Fabric beschleunigen und DSGVO-konforme Datenverarbeitung sicherstellen❗
Transformationsoptimierung: Beschleunigung von Sortierung, Aggregation und Zusammenführung in Talend durch tSystem-Aufrufe an CoSort SortCL. Dies ermöglicht mehrfache, zeitsparende Datentransformationen ohne Platzmangel und Beeinträchtigung anderer Jobs. Benchmarks und Tipps zur Leistungssteigerung sind verfügbar.
PII-Datenschutz: Talend kann sensible Daten in Tabellen und Flat-Files nicht ausreichend sichern. IRI Voracity und IRI FieldShield bieten umfassenden Schutz in verschiedenen Datenquellen, basierend auf Geschäftsregeln. RowGen erstellt sichere Testdaten, und die automatische Konvertierung von Talend-Mappings zu kosteneffizienteren ETL-Operationen in IRI Voracity spart erhebliche Kosten.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com