Enterprise DWH mit Data Vault

Kundenanforderung und Ziel des Vorhabens war, das eine Vielzahl von unterschiedlichen Dateiformaten bereitgestellt wurden, welche durch einen flexiblen und konfigurierbaren Beladungsprozess in einem Data Warehouse integriert und aggregiert bereitgestellt werden musste. Der bisherige Beladungsprozess konnte die Daten weder in der Qualität noch im zeitlichen Rahmen aufgrund von einer Vielzahl an manuellen Eingriffen bereitstellen. Durch diesen Zustand konnte die Datenbereitstellung weder qualitativ noch rechtzeitig erfolgen. sumIT konnte die Kundenanforderung hinsichtlich Datenqualität und Bereitstellung mit prozessspezifischen Metadaten und einem Data Vault Modellierungsansatz erfolgreich umsetzen.

Aufgabenstellung

Situation / Herausforderung
  • Aufbau eines Enterprise Data Warehouse für die Unternehmenssteuerung
  • Herausforderung war die hohe Anzahl an heterogenen Quellsystemschnittstellen, welche durch häufige Strukurwechsel, Herausforderungen in klassischen Auswertungssystemen hervorrufen.
  • Mit Hilfe der Data Vault Modellierung sollten die Daten in ihre Einzelheiten so granular zerlegt werden, dass eine spätere Zusammenführung auf Basis der granularsten Ebene möglich ist. Rein nach der Lehre des "kleinsten gemeinsamen Nenners"
  • Ziel des Projektes war es, durch ein Enterprise Data Warehouse zukünftig alle relevanten Informationen zur Steuerung des Unternehmens qualitätsgesichert und aggregiert zur Verfügung zu haben
  • Notwendigkeit einer flexiblen Beladungsroutine, welche auf Strukturänderungen in Quelldateien reagiert und die Daten automatisiert im Zielsystem zur Verfügung stellt

Vorgehensweise

Vorgehensweise und Kundennutzen
  • Strukturierte Aufnahme der Anforderungen und Erstellung eines Fach-/DV-Konzeptes
  • Konzeption und Design eines Data Warehouse, welches im Beladungsprozess flexibel auf Strukturänderungen der Lieferdateien reagiert
  • Erstellung von Mappings, welches aus externen Tabellen prozessübergreifende Standardtabellen liest und automatisiert Strukturanpassungen im Ziel verarbeitet
  • Erstellung eines Datenprozesses, welcher die Datenbeladung eigenständig aufruft, Daten wenn nötig bereinigt und anreichert um dann eine CIP-Standard-Datei erzeugt
  • Hoher Harmonisierungs- und Integrationsanteil der Quellsystemdaten für ein einheitliches Reporting und Unternehmenssteuerung
  • Hohe Flexibiliät bei der Datenintegration durch Schnittstellenänderungen in den Quellsystemen
  • Reduktion der manuellen Datenanpassung aufgrund sich ständig ändernden Datenstrukturen
  • Frühzeitige Bereitstellung der Unternehmensdaten wegen flexibler Datenmodellierung
  • Höhere Datenqualität durch Integration aller für KPI Berechnung notwendigen Dateninhalten
Leistung sumIT
  • Aufnahme der Anforderungen und Use Cases für die Ableitung des Datenmodells
  • Modellierung der Daten im Data Vault Ansatz mit Satelliten, Hubs und Links
  • Aufbau der Ladeprozesse und Befüllung des Datenmodells
  • Bereitstellung einer automatisierten Datenschnittstelle, welche flexible und eigenständig Datenstrukturen erkennt und integriert
  • Bereitstellung von dimensional und fachlich modellierten Datamarts für ein performantes Berichtswesen und Schnittstellenversorgung

Tools und Technologie

    • Data Vault 2.0
    • Oracle Datenbank (DMBS)
    • Oracle Beladungsstrecken mit SQL/PLSQL
    • Oracle Data Integrator