Autor: Firma JET-Software
❌ Snowflake ❌ Agile Datenintegration und Datenbereinigung mit optional verschlüsselter Datenbereitstellung ❗

❌ Snowflake ❌ Agile Datenintegration und Datenbereinigung mit optional verschlüsselter Datenbereitstellung ❗

By |
Snowflake ETL und PII-Maskierung: Schnelles, kostengünstiges Datenmapping & Verwaltung!

Möglicherweise sind Sie mit diesen zeitaufwendigen Problemen bei der Arbeit mit Snowflake konfrontiert:

  • Datensuche, -profilierung und/oder -klassifizierung
  • Integration oder Daten-Wrangling für DW/BI-Ops
  • Datenbewegung/Migration zu/von Tabellen
  • Transformieren oder Laden großer Tabellen
  • Datenerfassung oder -replikation ändern
  • Clustering oder Abfrage der Performance
  • Generierung intelligenter und sicherer Testdaten
  • Maskierung sensibler Daten

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden und erfordern eine Optimierung und dauern dann immer noch zu lange!

Daten in Ordnung halten: IRI CoSort für die Vorsotierung von Flat-Files für Bulk-Ladungen und Inserts. Das entfernt den Overhead dieser Arbeit von Snowflake, wenn es notwendig ist und verbessert die Leistung von Clustering und häufig ausgeführten Abfragen.

SQL-Transformationen auslagern: IRI CoSort für die Entlasung der Datenbank von den Verarbeitungskosten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms.

Migration und Replikation: IRI NextForm für die Erfassung, Re-Mapping, Re-Formatting, und Erstellung/Befüllung neuer Tabellen während der Migration von und nach Snowflake. Sie können auch Daten in Snowflake neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Kopien und föderierte Ansichten von Daten zu erstellen.

Datenmaskierung: IRI FieldShield für die Maskierung sensibler Daten in Snowflake, wie persönlich identifizierbare Informationen (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere de-identifizierende Funktionen auf eine oder mehrere Spalten gleichzeitig an. Verwenden Sie FieldShield zur Einhaltung von Datenschutzgesetzen wie HIPAA, PCI DSS, FERPA und GDPR.

Testdaten generieren: IRI RowGen für die Testdatengenerierung um Snowflake-Operationen schnell mit sicheren Testdaten zu bestücken. RowGen verwendet Ihre Datenmodelle, um die Testdaten automatisch für eine gesamte Datenbank mit referentieller Integrität zu generieren.

Alle Funktionen sind einzeln, oder integriert in der IRI Voracity-Plattform verfügbar!

In dem Blog-Artikel unseres Partners finden Sie ein Beispiel für Splunk ES, das die DarkShield Dark Data Suche und das Maskieren von Logs visualisiert!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Tuning von Splunk ❌ Schnelleres Big Data Wrangling vor der Indizierung in Splunk Phantom für höhere Leistung und GDPR-konformen Datenschutz ❗

❌ Tuning von Splunk ❌ Schnelleres Big Data Wrangling vor der Indizierung in Splunk Phantom für höhere Leistung und GDPR-konformen Datenschutz ❗

By |
Splunk-App für Big Data Wrangling & Datenschutz: Die beste Möglichkeit für die Datenerkennung, -integration, -migration, -verwaltung und -analyse von Splunk Enterprise oder Splunk Enterprise Security!

Der Vorteil ist ein nahtloser, gleichzeitiger operativer Daten-zu-Informationsfluss von der schnellen Vorbereitung und dem Schutz großer und kleiner Datenquellen durch Voracity bis hin zu den leistungsstarken Visualisierungen und dem adaptiven Response-Framework von Splunk.

In einem einzigen Durchgang durch mehrere Eingaben können Voracity-Jobs Daten für Analysen transformieren, filtern, bereinigen, neu formatieren und in ein Stadium (Wrangling) bringen und die darin enthaltenen PII für Compliance- und Datenverletzungen zu de-identifizieren!

Die Anwendung nimmt Daten, die von IRI-Jobs erzeugt werden die in den 4GL (*.cl)-Job-Skripten von "SortCL"-kompatiblen Produkten in Voracity definiert sind – einschließlich CoSort, NextForm, FieldShield und RowGen – und indexiert deren Ergebnisse automatisch in festgelegten Intervallen in Splunk.

Diese IRI-App für Splunk ist auch in der Lage, zusätzliche Befehlszeilenargumente auszuführen, die diesen Jobs zur Verfügung stehen, wie z.B. /WARNINGSON, /STATISTICS und zusätzliche /OUTFILE-Ziele.

Splunk ist ein robustes Analysetool für eine Vielzahl von Datenquellen. Splunk kann jedoch keine Dark Data auf umfassende Weise aufnehmen und es fehlt ihm an den Datenschutzfunktionen, die Compliance-orientierte Datenwissenschaftler benötigen. Mit IRI-Software und solchen Splunk-Kombinationen wie diesen können Sie noch viel mehr tun:

1. Splunk sofort mit vorbereiteten und geschützten Daten indizieren: Mit dem neuen IRI-Add-on für Splunk können Sie die extrem schnellen Datenaufbereitungs– und Schutzfunktionen von IRI Voracity aus Splunk heraus nutzen. Integrieren und maskieren Sie Rohdatensätze in einer Vielzahl von Formaten, u m sie sofort über den Speicher in Splunk-Indizes zu übertragen.

2. Unstrukturierte Datensätze für Splunk vorbereiten: Der Dark Data Discovery Wizard in der IRI Workbench GUI kann Daten in MS Office Dokumenten, E-Mail Repositories und .pdf,.rtf und.xml Dateien auf einmal suchen und strukturieren. Es kann auch forensische Metadaten über jede Datenquelle mit einem Element entdecken, das dem Suchmuster des Benutzers entspricht.

Die resultierende Flat-File enthält alle Daten (und optionale Metadaten), die Splunk leicht indizieren kann…. und sogar in der gleichen GUI mit Ihren Datenaufbereitungs- und Verwaltungsaktivitäten anzeigen kann, siehe weitere Details in unserem Blog hier.

3. Schutz der Daten für Splunk, mit oder ohne Reversibilität: Splunk hat eine Reihe von Datenverschlüsselungsszenarien identifiziert, bietet aber nicht die formaterhaltende Verschlüsselung von IRI FieldShield (einzeln verfügbar in der gleichen GUI oder als Teil eines Voracity-Abonnements), die Realismus bei der Dateneingabe oder referentielle Integrität bei der Datenabgabe gewährleistet. Verwenden Sie das IRI-Add-on für Splunk, um ein FieldShield (od er IRI RowGen Testdatengenerierung) Job-Skript auszuführen, um diese Daten in Splunk zu indizieren, wenn sie geschützt (oder produziert) sind.

Da sich die Datenschutzfunktionen von IRI auf Feldebene befinden, sind sie sicherer; wenn (im Gegensatz zu Splunk) ein Verschlüsselungscode offenbart wird, sind andere Felder mit anderen Schlüsseln oder Algorithmen noch sicher, siehe mehr Details in unserem Blog hier.

4. Senden Sie die Protokolle der IRI-Datensicherheitssoftware an Splunk: Darüber hinaus können alle statischen IRI-Datenmaskierungsprodukte – FieldShield, DarkShield und CellShield EE – Audit-Trail-Ausgaben erzeugen, die für Spunk Enterprise Security (ES) SIEM/SOC-Umgebungen geeignet sind.

In dieser Pressemitteilung finden Sie Links zu Artikeln über die Anzeige und das Verhalten bei Daten von IRI-Produkten wie DarkShield in Splunk! Hier ist ein Beispiel für Splunk ES, das die DarkShield Dark Data Search und das Maskieren von Logs visualisiert.

In dem Blog-Artikel unseres Partners finden Sie ein Beispiel für Splunk ES, das die DarkShield Dark Data Suche und das Maskieren von Logs visualisiert!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Vertica Datenbank ❌ Beschleunigung der Datenintegration und Datenmigration mit Datenschutz-Features für Vertica Database ❗

❌ Vertica Datenbank ❌ Beschleunigung der Datenintegration und Datenmigration mit Datenschutz-Features für Vertica Database ❗

By |
Schnellstes Big Data Management: Wie andere Artikel in unserem Blog über die Verbindung und Konfiguration von relationalen Datenbanken mit der IRI Voracity Datenmanagement-Plattform beschreibt dieser Artikel detailliert, wie man gezielt Vertica-Quellen erreicht.

Die IRI Voracity Datenmanagement-Plattform besteht aus ihren Ökosystemprodukten:

  • CoSort für schnellste Big Data Manipulation seit 1978
  • NextForm zur Datenmigration und -formatierung
  • FieldShield zur Datenmaskierung von sensiblen Daten in semi- un strukturierten Quellen
  • DarkShield zur Datenmaskierung von sensiblen Daten in semi- und unstrukturierten Quellen
  • RowGen zur synthetischen Testdatengenerierung

Dieser Artikel beschreibt detailliert, wie man Vertica-Quellen erreicht. Er beschreibt näher die ODBC- und JDBC-Verbindungen und Konfigurationen, die erforderlich sind, um Vertica mit der SortCL-Engine und dem IRI Workbench Job Design Client zu registrieren, die den meisten IRI-Softwareprodukten, die strukturierte Datenquellen verarbeiten, gemeinsam sind.

Voraussetzungen für die Interoperabilität: Um Vertica-Daten zur und von der in C geschriebenen Back-End-SortCL-Engine zu bewegen, ist eine ODBC-Verbindung erforderlich. Zur Unterstützung des visuellen Tabellendurchsuchens und des Metadatenaustauschs in IRI Workbench ist eine JDBC-Verbindung erforderlich. Diese beiden Verbindungstypen müssen in IRI Workbench registriert werden, um sie einander zuzuordnen. Dieser Artikel erklärt genau diese Schritte.

Wenn IRI DarkShield mit Vertica für die Maskierung von Daten in strukturierten, semi- und/oder unstrukturierten Spalten gemäß diesem Artikel oder über die DarkShield-API verwendet wird, wird nur JDBC oder ein anderes Verbindungsprotokoll benötigt.

Alle weiteren Details zur Konfiguration und dem Funktionsumfang ist in diesem Artikel zu finden!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Microsoft SQL Server ❌ 10x schnelleres ETL, BI-Datenaufbereitung und PII finden/schützen für Datenschutz und sicheres TDM ❗

❌ Microsoft SQL Server ❌ 10x schnelleres ETL, BI-Datenaufbereitung und PII finden/schützen für Datenschutz und sicheres TDM ❗

By |
Möglicherweise haben Sie eines oder mehrere dieser zeitaufwendigen Probleme bei der Arbeit mit MS SQL Server-Datenbanken vor Ort oder in der Azure-Cloud:

  • Datenermittlung: Profilerstellung, Klassifizierung, ERDs
  • Be- und Entladen großer Tabellen
  • Routinemäßige Versorgungsoperationen (Reorgs)
  • Komplexe Abfragen oder PowerBI-Performance
  • Migrations- oder Replikationsarbeiten
  • Schlechte Datenqualität oder Einheitlichkeit
  • Zugriffs- und Aktivitätskontrolle, Überwachung und Audit (Firewall)
  • Maskierung von PII in Tabellen statisch oder in Anwendungen wie MS Dynamics dynamisch
  • Generierung intelligenter und sicherer Testdaten für Prototyping, DevOps, Demos, etc.

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange. Einfache und kostengünstige IRI-Software löst diese Probleme. Für spezielle Anforderungen stehen auch Dienstleistungen zur Verfügung:

Unload-Beschleunigung: IRI FACT (Fast Extract) zur Beschleunigung der SQL Server-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um große Tabellen schnell in Flat-Files zu übertragen.

Geben Sie SELECT * FROM aus der Tabelle an, damit Sie das Entladen nicht mit Qualifier wie "distinct", "order by", oder "group by" belasten. Sobald sich die Daten in Flat-Files befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu dekupieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten)…. parallel, außerhalb der Datenbank.

Nutzen Sie die IRI Voracity-Plattform, um FACT, CoSort und Ihr Load Utility oder Downstream-Anwendungen in schnellen, kostengünstigen, visuellen ETL-Operationen in Eclipse zu kombinieren.

Load-Beschleunigung: IRI CoSort zur Vorsortierung von Flat-Files für Bulk-Bcp-Importe.

Microsoft empfiehlt, dass fast jede SQL Server-Tabelle einen geclusterten Index haben sollte. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt Index erstellen zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes, um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.

Reorgs- und Abfragebeschleunigung: Der Offline Reorg-Assistent in der IRI Workbench, um die Kombination der folgenden Funktionen zu kombinieren und zu automatisieren: Schnelles Extrahieren, Sortieren und Zurückladen von klassischen (Offline-)SQL Server-Reorgs. Dies hilft Ihnen, Ihre Tabellen in der optimalen Reihenfolge der Abfragen zu pflegen.

Optimierung von Transformationen (ETL) und BI-Datenaufbereitung: IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms: Anwendungsfall

Wenn Sie eine schnellere Alternative zu SSIS oder einem anderen ETL-Tool benötigen, nutzen Sie IRI Voracity, eine Gesamtdatenmanagement-Plattform auf Basis von CoSort (oder Hadoop) und Frontend in Eclipse für den Zugriff auf (und die Integration und Verwaltung von) mehreren Datenquellen.

Migration und Replikation von SQL Server Datenbanken: IRI NextForm Datenbank-Edition zum Erfassen, Neuzuordnen, Neu-Formatieren und Erstellen/Befüllen neuer Tabellen während der Migration zu und von SQL Server. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort oder Voracity verwenden, um Daten in SQL Sever neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Replikate und föderierte Ansichten von Daten zu erstellen.

Daten bereinigen und anreichern (Qualität): CoSort oder Voracity um Fehler in Datenwerten, Bereichen, Formaten oder Kontexten zu finden und zu beheben. Scrubben und standardisieren Sie doppelte oder fuzzy-angepasste Werte. Weitere Möglichkeiten zur Datenqualität finden Sie hier.

Klassifizieren und Maskieren von sensiblen Daten: IRI FieldShield (oder IRI Voracity) um sensible Daten in SQL Server zu finden, zu klassifizieren und unterschiedlich zu maskieren, wie beispielsweise personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere Identifizierungsfunktionen auf eine oder mehrere Spalten und Tabellen gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und die EC GDPR einzuhalten.

SQL Server Testdaten generieren: IRI RowGen (oder Voracity) um SQL Server- oder SSIS ETL-Operationen schnell mit sicheren Testdaten zu füllen. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren. Ein Subsetting-Assistent (mit Maskierungsoptionen) ist ein weiterer integrierter Ansatz.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Pentaho Data Integration ❌ Enorme ETL-Beschleunigung von PDI (ehemals Kettle) mit End-to-End Datenschutz ❗

❌ Pentaho Data Integration ❌ Enorme ETL-Beschleunigung von PDI (ehemals Kettle) mit End-to-End Datenschutz ❗

By |
Pentaho Data Integration ist zwar ein leistungsfähiges Werkzeug zur Aufbereitung und Integration von Daten, weist aber einige (Sicherheits-)Mängel auf!

1. Langsame Transformierungen: Native Sorts usw. laufen möglicherweise nicht schnell genug und nicht bei großer Menge.

2. Eingeschränkte De-ID-Funktionen: Daten, die durch Kettle fließen, können nicht maskiert oder verschlüsselt werden.

3. Begrenzte Testdaten: Kein Prototyp von ETL-Aufträgen ohne Verwendung von Produktionsdaten möglich.

Dieser Artikel ist der erste in einer 3-teiligen Serie über die Verwendung von IRI-Produkten zur Erweiterung der Funktionalität und Verbesserung der Performance in Pentaho-Systemen. Wir zeigen zunächst, wie Sie die Sortierleistung verbessern können und stellen dann Möglichkeiten vor, Produktionsdaten zu maskieren und Testdaten in der Pentaho Data Integration-Umgebung zu erstellen.

Seit 1978 wird IRI CoSort eingesetzt, um Sortierfunktionen oder Sortierprozessschritte von Drittanbietern zu beschleunigen oder zu ersetzen. CoSort ist ein eigenständiges Produkt und die Standard-Datenmanipulations-Engine im Betrieb der IRI Voracity Datenmanagement-Plattform. Lizenznehmer beider Produkte können CoSort-Jobs in der kostenlosen IRI Workbench GUI, auf der Kommandozeile, von Pentaho aus, etc. ausführen.

Die Software Pentaho Data Integration (PDI) enthält eine native Sortierung, die für Ihre hochvolumigen Eingaben möglicherweise nicht schnell genug ist. Die PDI-Prozessabläufe unterstützen jedoch die Verwendung von Funktionen von Drittanbietern, so dass Daten extern sortiert werden können, ohne den Prozess zu unterbrechen. Durch die Verwendung des Shell-Skriptschritts von PDI zum Aufruf eines CoSort-Jobs (z. B. SortCL-Skript) können die Sortierzeiten drastisch reduziert werden.

Pentaho- und CoSort-Anwender können ein SortCL-Sortierskript in einem Texteditor oder über den neuen Sortierjob-Assistenten in der IRI Workbench GUI, die auf Eclipse™ aufbaut, erstellen.

Benchmarks zeigen, dass die Verwendung des Pentaho/CoSort-Hybrids 14-16 Mal schneller ist als die Verwendung des nativen Sortierschritts in Pentaho allein!

Über das Sortieren hinaus führt das CoSort SortCL-Programm eine Reihe zusätzlicher Transformationen zur gleichen Zeit durch und bereinigt, migriert, föderiert, schützt und berichtet über Daten in unterschiedlichen Quellen. Selbst wenn Sie Pentaho für viele Aktivitäten verwenden, können Sie also feststellen, dass es unter Umständen effizienter ist, bestimmte langsamer laufende Schritte an CoSort auszulagern, wenn Sie ein hohes Datenvolumen haben.

Klicken Sie hier für die Maskierung von Produktionsdaten in Pentaho, um so PII zu schützen und Datenschutzgesetze einzuhalten, oder hier um Testdaten für Pentaho synthetisch zu erstellen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Schutz vor Credential Stuffing ❌ Datenleck verhindern mit Verschlüsselung von Klartext in NoSQL, Elasticsearch oder AWS S3-Buckets ❗

❌ Schutz vor Credential Stuffing ❌ Datenleck verhindern mit Verschlüsselung von Klartext in NoSQL, Elasticsearch oder AWS S3-Buckets ❗

By |
Minimieren Sie das Risiko: Finden und maskieren Sie PII gezielt dort, wo sie auch stecken!

Ungesicherte Daten können den Ruf Ihres Unternehmens schädigen und Millionen von Bußgeldern verursachen. Die preisgekrönte datenzentrische ("Startpunkt") Sicherheitssoftware von IRI hat sich in einer Vielzahl von Umgebungen zur Aufhebung von Verstößen, Einhaltung des Datenschutzes und DevOps (Testdaten) wiederholt bewährt. Verwenden Sie zweckmäßige IRI-Datenschutzprodukte oder die umfassende IRI Voracity-Plattform, um sensible Daten zu finden und zu maskieren – egal in welcher Form und wo sie sich befinden – und um zu beweisen, dass Sie sie geschützt haben.

IRI FieldShield: Finden, klassifizieren, maskieren und risikobehaftete PII über Legacy-Dateien, relationale und NoSQL-Datenbanken, Cloud-Anwendungen usw. mit AES-256 FPE, Hashing, Redaktion, Pseudonymisierung, Tokenisierung usw. Details hier.

IRI CellShield: Finden, Berichten, Maskieren und Überprüfen von PII in einer oder mehreren Excel®-Tabellen auf einmal. Details hier.

IRI DarkShield: Erkennen, Bereitstellen und Löschen vertraulicher Informationen in unstrukturierten Textdateien, PDFs und mehr. Details hier.

Oder Alles integriert in der End-to-End Datenmanagement-Plattform IRI Voracity: Erhalten Sie Datenmaskierung und Testdatenmanagement innerhalb einer umfassenden Datenlebenszyklus-Management-Plattform, die große Datenerfassungs-, Integrations-, Migrations-, Governance- und Analysefunktionen vereint. Zusätzlich zu FieldShield enthält Voracity IRI RowGen, so dass Sie auch intelligente Testdaten von Grund auf für DB/ETL-Prototyping, PII-Fertigung und Anwendungs-Stresstests erstellen können. Details hier.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ MariaDB und MySQL ❌ Schnelleres umfangreiches Datenmanagement und End-to-End Datenschutz ❗

❌ MariaDB und MySQL ❌ Schnelleres umfangreiches Datenmanagement und End-to-End Datenschutz ❗

By |
MySQL und MariaDB: schnelleres und sicheres Datenmanagement!

Sie können mit einem oder mehreren dieser zeitaufwendigen Probleme bei der Arbeit mit MySQL konfrontiert werden:

  • Datenermittlung: Profilerstellung, Klassifizierung, ERDs
  • Be- und Entladen großer Tabellen
  • Routinemäßige Versorgungsoperationen (Reorgs)
  • Komplexe Abfragen
  • Migration oder Replikation
  • Maskierung sensibler Daten
  • Generierung intelligenter und sicherer Testdaten

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, erfordern eine Optimierung und dauern dann immer noch zu lange.

Beschleunigen Sie die Entladung: IRI FACT (Fast Extract) zur Beschleunigung der MySQL-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um Tabellendaten in Flat-Files zu übertragen. Geben Sie SELECT * aus der Tabelle an, damit Sie das Entladen nicht mit Kennzeichen wie "distinct", "order by" und "group by" belasten. Aber sobald sich diese Daten in der Flat-File befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu deduplizieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten)…. parallel, außerhalb der Datenbank.

Beschleunigen Sie die Ladungen: IRI CoSort um Flat-Files für den Massen-BCP-Import vorzusortieren. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt mit der Index-Erstellung zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.

Beschleunigen Sie die Reorgs und Abfragen: Offline Reorg Wizard in der IRI Workbench, um die Kombination der oben genannten schnellen Extraktions-, Sortier- und Rückladevorgänge für klassische (Offline-)MySQL-Reorgs zu kombinieren und zu automatisieren, die die Pflege Ihrer Tabellen in optimaler Abfragereihenfolge erleichtern.

Lagern Sie die SQL-Transformationen aus: IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms.

Migrieren und replizieren Sie die Datenbanken: IRI NextForm-Datenbank-Edition um neue Tabellen während der Migration zu und von MySQL zu erwerben, neu abzubilden, neu zu formatieren und zu erstellen/zu füllen. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort verwenden, um Daten in MySQL neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Kopien und föderierte Ansichten von Daten zu erstellen.

Maskieren Sie Daten in MySQL-Spalten: IRI FieldShield um sensible Daten in MySQL zu maskieren, wie personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI), wendet FieldShield Maskierung, Verschlüsselung und andere De-Identifizierungsfunktionen auf eine oder mehrere Spalten gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und GDPR einzuhalten.

Generieren Sie synthetische Testdaten: IRI RowGen um MySQL-Operationen schnell mit sicheren Testdaten zu füllen. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren.

In dem Blog unseres Partners IRI finden Sie ausführliche technische Artikel und Demos!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ IBM Informix ❌ All-in-One Lösung für schnellstes Datenmanagement von/in Informix mit erweiterter Datenbanksicherheit ❗

❌ IBM Informix ❌ All-in-One Lösung für schnellstes Datenmanagement von/in Informix mit erweiterter Datenbanksicherheit ❗

By |
 

Alles in einer Konsole: Schnelleres Datenmanagement und höchste Datensicherheit!

IRI Workbench™ ist die kostenlose grafische Benutzeroberfläche (GUI) und integrierte Entwicklungsumgebung (IDE) für alle IRI-Datenmanagement- und Schutzsoftwareprodukte und die Voracity-Plattform, die sie beinhaltet. Die unter Windows, MacOS und Linux verfügbare Workbench steuert Aufträge über bewährte IRI CoSort und Hadoop Engines und nutzt dabei alles, was Eclipse™ bietet.

Dieser Artikel dokumentiert die Verbindungen, die in IRI Workbench- und 64-bit CoSort-kompatiblen Runtime-Umgebungen erforderlich sind, um mit 64-bit Informix Dynamic Server (IDS) v12 Tabellenquellen und -zielen zu arbeiten. Wie Sie sehen werden, laufen diese Schritte auf die gleiche Weise ab wie andere RDBMS-Verbindungen, die wir in diesem Blog dokumentiert haben, einschließlich: MS SQL, Oracle, PostgreSQL, Salesforce, Snowflake und Teradata.

In jedem Fall ist eine JDBC-Verbindung erforderlich, um das visuelle Browsen und den Metadatenaustausch mit der Datenquellen-Explorer-Ansicht und den Assistenten der oberen Symbolleiste in der IRI-Workbench zu unterstützen. Eine ODBC-Verbindung ist erforderlich, um den Datentransfer zwischen der Datenbank und der SortCL-Engine zu unterstützen.

Erfahren Sie hier die Voraussetzungen und die 3 Schritte um IBM Informix zu verbinden:

Schritt 1. Stellen Sie die ODBC-Verbindung her
Schritt 2. Stellen Sie die JDBC-Verbindung her
Schritt 3. Registrieren der Verbindung

Die IRI Workbench verfügt über Assistenten für die Erstellung, Konvertierung, Erkennung und Verwaltung von Metadaten, mit denen Sie einfache Jobskripte (SortCL usw.), Datendefinitionsdateien (DDF) und XML-Workflows erstellen, bereitstellen und verwalten können, die für alle IRI-Softwaretypen gleich sind. Sie können auch Ihre Datenbanken verwalten und Anwendungen in jeder anderen Sprache oder jedem anderen Plug-in entwickeln und mit ihnen arbeiten, das in Eclipse unterstützt wird.

Alles, was Sie brauchen: Vereinfacht in einer GUI basierend auf Eclipse™!

1. Datenermittlung, Profilerstellung, Klassifizierung und Metadatendefinition
2. Sehr große Datenbank (VLDB) Extraktion (E) in IRI FACT oder Voracity
3. Datentransformation (T), Laden (L) und BI / Datenwrangling in IRI CoSort oder Voracity
4. DW ETL, Change Data Capture und DB-Reorgs mit FACT und CoSort, oder Voracity
5. Datenmigration und -replikation über IRI NextForm oder Voracity
6. Datenmaskierung, Verschlüsselung und Re-ID-Risikobewertung in IRI FieldShield, DarkShield, CellShield EE oder Voracity
7. Testdatengenerierung mit IRI RowGen oder Voracity
8. E-R-, Workflow- und Transform-Mapping-Diagramme

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ IBM DataStage ❌ 10x schnellere Datenintegration und Datenmanipulation für ETL-Tool IBM InfoSphere DataStage ❗

❌ IBM DataStage ❌ 10x schnellere Datenintegration und Datenmanipulation für ETL-Tool IBM InfoSphere DataStage ❗

By |
Herausforderungen: Auch nach der Beratung und dem Tuning können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versions-Upgrade von DataStage.

Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen.

Aus Sicherheitssicht können die Datenmaskierungslösungen von IBM für einige teuer oder umständlich sein oder nicht alle Funktionen der PII-Erkennung oder des Datenschutzes für andere bereitstellen.

DataStage-Transformationen beschleunigen: Beschleunigen Sie das Sortieren, Aggregieren und Zusammenführen in einem einzigen Durchgang mit der CoSort Sort Control Language (SortCL) in einer sequentiellen Dateistufe oder einem Unterprogramm vor der Job-Routine. Führen Sie große Datentransformationen durch, ohne andere Aufträge in DataStage, Ihrer Datenbank oder Ihrem BI-Tool zu belasten. Geben Sie außerdem Dateiformat- und Datentypkonvertierungen, Maskierungsfunktionen auf Feldebene, benutzerdefinierte Berichte und vorsortierte Ladedateien an. Verbessern Sie die Leistung der DataStage, indem Sie eine sequentielle Dateistufe vor der Aggregation hinzufügen, ein SortCL-Skript ausführen, um die Datei extern nach Trennschlüsseln vorzusortieren, und dann die sortierten Felder in der Aggregationsstufe definieren.

PII in DataStage maskieren: Daten, die sich in Tabellen und Flat-Files innerhalb von DataStage befinden, können sensibel sein und personenbezogene Daten enthalten, die Vertraulichkeitsbeschränkungen und Datenschutzgesetzen unterliegen. Sowohl IRI Voracity als auch IRI FieldShield können Felder in strukturierten Datensätzen in jeder ODBC-verbundenen Datenbank oder jedem Flat-File-Format schützen. Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen, d.h. formaterhaltende AES-256, FIPS-konforme OpenSSL-, 3DES- und/oder GPG-Verschlüsselung, Lookup-Wert-Substitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilzeichenkette oder Benutzerfeldfunktion.

DataStage Testdaten erstellen: IRI Voracity erzeugt durch sein konstitutives (oder eigenständiges) IRI RowGen-Softwareprodukt sichere, realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten, .dsx-definierten Dateien und allen über JDBC verbundenen RDB-Datenmodellen. Verwenden Sie RowGen, um konforme, realistische Testdaten aus zufälliger Generierung und/oder Set-Datei-Auswahl zu erstellen und sie mit integrierten Datenmanipulations- und Formatierungsfunktionen noch weiter anzupassen.

DataStage-Jobs neu platzieren: Erleichtern Sie die Migration von DataStage zu einem schnelleren, kostengünstigeren ETL-Betrieb in IRI Voracity mit Erwin Mapping Manager oder Code-Automation Frameworks (CATfx). Diese bewährte Technologie sowie die ADS Lite Speed Conversion Services geben ETL-Architekten und der CIO/CFO-Suite schließlich die Möglichkeit, Hunderttausende von Euros sofort einzusparen und in Zukunft auf kostengünstige Betriebskosten umzustellen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Snowflake Datenbank ❌ Schnelleres Datenmanagement und GDPR konformer Datenschutz im Snowflake Data Warehouse ❗

❌ Snowflake Datenbank ❌ Schnelleres Datenmanagement und GDPR konformer Datenschutz im Snowflake Data Warehouse ❗

By |
 

Snowflake ETL und PII-Maskierung: Die Lösung für zeitaufwendige Probleme bei der Arbeit mit Snowflake wie

  • Datensuche, -profilierung und/oder -klassifizierung
  • Integration oder Daten-Wrangling für DW/BI-Ops
  • Datenbewegung/Migration zu/von Tabellen
  • Transformieren oder Laden großer Tabellen
  • Datenerfassung oder -replikation ändern
  • Clustering oder Abfrage der Performance
  • Generierung intelligenter und sicherer Testdaten
  • Maskierung sensibler Daten

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden und erfordern eine Optimierung und dauern dann immer noch zu lange!

Daten in Ordnung halten: IRI CoSort für die Vorsotierung von Flat-Files für Bulk-Ladungen und Inserts. Das entfernt den Overhead dieser Arbeit von Snowflake, wenn es notwendig ist und verbessert die Leistung von Clustering und häufig ausgeführten Abfragen.

SQL-Transformationen auslagern: IRI CoSort für die Entlasung der Datenbank von den Verarbeitungskosten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms.

Migration und Replikation: IRI NextForm für die Erfassung, Re-Mapping, Re-Formatting, und Erstellung/Befüllung neuer Tabellen während der Migration von und nach Snowflake. Sie können auch Daten in Snowflake neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Kopien und föderierte Ansichten von Daten zu erstellen.

Datenmaskierung: IRI FieldShield für die Maskierung sensibler Daten in Snowflake, wie persönlich identifizierbare Informationen (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere de-identifizierende Funktionen auf eine oder mehrere Spalten gleichzeitig an. Verwenden Sie FieldShield zur Einhaltung von Datenschutzgesetzen wie HIPAA, PCI DSS, FERPA und GDPR.

Testdaten generieren: IRI RowGen für die Testdatengenerierung um Snowflake-Operationen schnell mit sicheren Testdaten zu bestücken. RowGen verwendet Ihre Datenmodelle, um die Testdaten automatisch für eine gesamte Datenbank mit referentieller Integrität zu generieren.

Alle Funktionen sind einzeln, oder integriert in der IRI Voracity-Plattform verfügbar!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

Für die oben stehenden Pressemitteilungen, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber verantwortlich. Dieser ist in der Regel auch Urheber der Pressetexte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber.