Integration von Daten

Erfolgreich durch Datenintegration und -analyse

Die Datenintegration verbindet unterschiedliche Datenquellen zur Unterstützung der Entscheidungsfindung in Unternehmen. Datenintegrationslösungen können die folgenden Funktionen umfassen:

• ETL-Funktionen (Extrahieren, Transformieren und Laden) zum Verbinden, Sammeln, Bereinigen und Übertragen von Daten in einen Data Mart oder ein Data Warehouse zur Analyse.
• ELT-Technologie (Extract, Load and Transform) zum Filtern, Transformieren und Aggregieren von Datensätzen in einem Data Warehouse.
• Replikation von Änderungen aus einem operativen System in ein Data Warehouse.
• Datenpipeline Orchestrierung.
• Terminierung der Datenübertragung.
• Deduplizierung von Daten und Füllen von Datenlücken durch Standardwerte, Extrapolation und Interpolation.

Strategie zur Datenintegration

Mit einer gemeinsamen Datenintegrationsstrategie kann ein Unternehmen die Kosten für die Verwaltung von Ad-hoc-Punkt-zu-Punkt-Datenintegrationen senken. Ein einheitlicher Ansatz hat Vorteile:

• Die Bereitstellung von Datenverbindungen wird beschleunigt.
• Bietet stabilere Verbindungen.
• Fördert die Wiederverwendbarkeit.
• Reduziert die Wartungskosten.

Abteilungen, die mit Datensilos arbeiten, können zu doppelten Daten und verschwendetem Aufwand führen. Ein Plattformansatz verbessert die Transparenz der Datenflüsse innerhalb eines Unternehmens. Eine zentrale Stelle für die verwalten Integrationen ermöglicht es einem Unternehmen, komplexe Verbindungen zu Datendrehscheiben oder Datenbussen zu entwirren und einen Überblick über die Datenflüsse zu erhalten. Da neue Datenquellen wie Clickstreams und Sensor-Feeds übernommen werden müssen, bietet eine Integrationsplattform scalability , ohne lähmende Verwaltungskosten zu verursachen.

Einbindung von Datenqualität

Die Erstellung zuverlässiger Daten für Analysen erfordert die Nachverfolgung von Datenquellen und die Verwendung nur der zuverlässigsten Daten. Datenvalidierungsregeln schließen Lücken, prüfen Formate einzelner Datenfelder auf Beständigkeit und setzen die referenzielle Integrität von Beziehungen zwischen Datenelementen durch.

Dienstprogramme zur Datenprofilerstellung validieren die Datenqualität, und Datentransformationsfunktionen vereinheitlichen die Daten, bevor sie in eine Zieldatenplattform geladen werden. Die Parallelisierung großer Datenoperationen kann die Übertragung und Transformation beschleunigen.

Eine robuste Datenintegrationslösung überwacht Übertragungen und kennzeichnet alle Ausnahmen, bevor die Daten für die Entscheidungsfindung verwendet werden.

Datenintegration in der Cloud

Datenintegrationstools haben sich weiterentwickelt, um Cloud Anwendungen zu unterstützen. Viele Lösungen begannen mit einem Cloud oder Cloud, während andere die Cloud übernommen haben, als sie sich von einer ursprünglichen On-Premises weiterentwickelten. Viele Lösungen unterstützen ein hybrides Deployment , so dass Entwickler problemlos Daten nutzen können, die sich sowohl On-Premises als auch in öffentlichen Cloud befinden. Moderne Tools bieten eine grafische Nutzer , um Datenflüsse zeitsparend visuell zu gestalten.

Datenintegration für Data Lakes

In der Vergangenheit war big data oft ein Synonym für Apache Hadoop und sein Cluster-Dateisystem. Heute verliert Hadoop an Attraktivität, weil Cloud skalierbar Speicherung auf einer abstrakteren Ebene unter Verwendung von Blockspeicher anbieten, ohne dass ein Cluster von Servern verwalten muss.

Streaming wie Apache Kafka unterstützen Datenquellen, die kontinuierliche Datenströme austauschen müssen. Change Data Capture (CDC)-Lösungen wie High Volume Replication (HVR) unterstützen das Verschieben von Daten - von Data Lakes und Transaktionsdatenbanken zu Data Warehouses/Datenplattformen. Die CDC-Technologie kann so konfiguriert werden, dass ein bidirektionaler Datenfluss möglich ist. Datenkollisionen werden erkannt und durch Regeln wie die Verwendung des Datenwerts mit dem neuesten Zeitstempel aufgelöst.

Erweiterte Datenintegration

Einige erstklassige Datenintegrationsplattformen bieten Funktionen zur Unterstützung der data governance, einschließlich der Möglichkeit, Daten mit Hilfe von Datenprovenienz- und Katalogfunktionen bis zu den Rohquellen zurückzuverfolgen, um zu verfolgen, wie Benutzer und Anwendungen Daten nutzen. Diese erweiterten Funktionen ermöglichen es einem Unternehmen, weniger genutzte Integrationen aufzugeben und bestehende Integrationen besser zu konsolidieren oder wiederzuverwenden.

Viele Datenbanken, wie z. B. Ingres, SQL Server und Oracle, bieten eigene Integrationsdienste an und arbeiten mit speziellen Datenintegrationswerkzeugen.

Beispiele für Datenintegration

Nachstehend sind einige Anwendungsfälle für die Datenreplikation aufgeführt:

• Einzelhändler nutzen die Datenreplikation, um aktualisierte Produktpreise in den Filialen zu veröffentlichen und umgekehrt die Verkaufsdaten der Filialen zur Analyse in Data Warehouses/Datenplattformen zu erhalten.
• Globale Finanzberichterstattungssysteme nutzen die CDC-Technologie, um Daten aus länderspezifischen Buchhaltungssystemen für regionale und aufsichtsrechtliche Berichte zu extrahieren.
• Mobilfunknetzbetreiber verwenden lokale Anrufprotokolle von Mobilfunktürmen, um die Dienstgüte (QoS) in ihren Netzen verwalten .
• Transportunternehmen statten ihre Fahrzeuge mit GPS-Sensoren aus, um Live-Standorte für die Routenoptimierung zu erfassen.
• Versicherungsunternehmen nutzen die mehrstufige Datenintegration, um lokale Berichte in den Filialen in einem einheitlichen Format zu erstellen. Durch die Konsolidierung dieser Informationen in der Zentrale erhalten die Vertriebsteams Branchen-Benchmarks, die eine Differenzierung der Policenverwaltungsdienste ermöglichen.
• Die medizinische Forschung nutzt die Datenintegration, um Daten aus klinischen Studien zu sammeln, die zentral zusammengefasst und veröffentlicht werden. Dies ermöglicht eine weltweite Zusammenarbeit bei der Bekämpfung von Krankheiten.

Datenintegration mit ActianLösungen

Die Actian Data Platform unterstützt viele der oben genannten Anwendungsfälle. Die Actian Data Platform verfügt über integrierte Konnektoren zu Hunderten von Datenquellen, einschließlich Cloud Anwendungen wie Salesforce und NetSuite. Ein universeller Adapter macht es einfach, benutzerdefinierte Schnittstellen für Legacy-Anwendungen zu erstellen, so dass bestehende und neue Integrationsaufträge leicht verwalten können.