Das zeichnet uns aus.

  • Projektteams erhalten eine modulare best-practise-Lösung für Ladeprozesse in DWH- und Datenintegrationsplattformen. Mit wiederverwendbaren Komponenten werden die Prozessschritte beim Laden der Daten von Quelle bis in das Ziel gleichartig und in geprüfter Qualität realisiert. ​
  • Die Standardisierung erhöht die Verständlichkeit und die Wartbarkeit der ETL Prozesse. Die Generierung von technischen und fachlichen Metadaten gewährt die Nachvollziehbarkeit aller Jobabläufe.

Alle Komponenten des Frameworks sind allgemeingültig beschrieben. Die beispielhafte Implementierung von Funktionen oder Shared Containern mit IBM DataStage ist explizit dokumentiert. Die flexible Anpassung oder Erweiterung auf kundenspezifische Anforderungen ist damit leicht möglich.

  • Die Komponenten des Frameworks werden auf Basis eines Beispiel-Projekts ausgeliefert. ​
  • Das Framework kann individuell an die Namenskonventionen des Projektes angepasst werden. Dazu gehören unter anderem:​
  1. In DataStage: Jobs, Sequenzen, ParameterSets, Paramater​
  2. In DB: Schema, Tabellen, Namen technischer Felder

ETL-Architekten und –Entwickler werden im Rahmen eines Workshops intensiv in Konzeption und Anwendung des Frameworks und seiner Komponenten eingewiesen. Die Lauffähigkeit realisierter Komponenten (shared container) wird sichergestellt.

Übersicht Framework

  • Beladung Staging​
  • Typisierte und nicht-typisierte Datenübertragung in Staging Area​
  • Harmonisierung​
  • Syntaktische Harmonisierung mittels Mappingtabelle und wiederverwendbaren Komponenten (shared container)​
  • Surrogate Key​
  • Generieren: Vergabe neuer Surrogate Keys ​
  • Lesen: Zuordnung eines bestehenden Surrogate Keys zu einen Quellsystemschlüssel​
  • Delta-Ermittlung und technische Historisierung​
  • Änderungserkennung von gelieferten Daten gegen die Zieltabelle; Ermitteln der Basis-Operation Insert, Update, Delete mit anschließender technischer Historisierung​
  • Fachliche Protokollierung​
  • Protokollierung von Harmonisierungsfehlern, Reject Sätzen in bereitgestellter Tabelle und unter Verwendung von zwei shared containern​
  • Konfiguration von Benachrichtigung per E-Mail​
  • Technische Metadaten ​
  • Metatabellen zur Verwaltung von Lieferungen und Produktionsläufen​
  • Technische Protokollierung der Läufe zur Dokumentation wichtiger Kenngrößen​
  • Versorgung der in der Zieltabelle eingefügten bzw. veränderten Sätze mit relevanten technischen Metadaten​
  • ETL Standards​
  • Empfehlungen zu Namenskonventionen und weitern Standardeinstellungen​
ELT Framework
Example ETL job for loading a DWH core table.

Was habe ich als Kunde davon?

Das Framework liefert der Startpunkt für die Realisierung einer ETL Architektur. Das Framework wird an die Kundengegebenheiten angepasst. Es legt die Grundlage, damit wiederkehrende Aufgaben im Datenintegrationsprozess nicht jedes mal neu konzipiert und realisiert. Ein Rad wird nur einmal erfunden.

Die Konzeption des Frameworks basiert auf jahrelanger Erfahrung aus vielen Projekten und berücksichtig relevante Aspekte funktionaler und nicht-funktionaler Anforderungen. Die realisierten Komponenten sind qualitätsgeprüft und garantieren korrekte Funktionalität.

Der modulare Aufbau des Frameworks erlaubt die gezielte Nutzung der Komponenten in vorhandenen Projekten. Das Framework kann bei Bedarf auf Anforderungen des Projekts angepasst werden.

  • Die Anwendung des Frameworks und seiner Komponenten reduziert die Konzeptions- und Entwicklungskosten in einem Projekt bei gleichzeitiger Risikominderung. ​
  • Einarbeitungszeiten und Wartungsaufgaben werden kostengünstiger durchgeführt.
Framework for Datastage Trial

Probelizenz anfordern

Bestellen Sie Framework for Datastage zur Probe.

weiter lesen
technical support

Technische Beratung

Telefon +49 (0) 511 5151 3700,
E-Mail more.about(at)itgain(dot)de