Prävention auf Prozessebene - Hohe Datenqualität häufig unterschätzt

Heiko Becker leitet die Data Warehouse Gruppe und ist Mitglied im BI-Board der comdirect bank AG. Seit 1997 beschäftigt er sich mit Data Warehouse, OLAP und Data Mining Themen in nationalen und internatio- nalen Projekten. Schwerpunkt E-Mail: heiko.becker@comdirect.de Christian Eberhardt ist Consultant im Competence Centre Data Warehouse der Münch- ner Unternehmensberatung b.telligent. E-Mail: christian.eberhardt@btelligent.de Abb. 1: Kosten von DQ-Problemen Anwenderbericht comdirect von Bereichs- und Unternehmenszielen entgegenwirken. Über das Verfehlen von quantitativen Zielen hinaus können Prävention auf Fehler in Managementreports zu unternehmensinternen Unstimmigkeiten führen. Fehler in Quartalsberichten kön- Prozessebene nen sich bis hin zu externem Vertrauensverlust entwickeln. Allgemein betrachtet mündet mangelhafte Datenqualität direkt in Ertragsverluste, Verluste durch Fehlentschei- Hohe Datenqualität ist einer der am meisten unterschätzten dungen oder auch sonstigen Risikokosten. Doch das ist Faktoren für den Erfolg von Informationssys-temen. Die nur die Spitze des Eisbergs: Indirekt entstandene Kosten comdirect bank AG beugt Datenqualitätsproblemen er- sind zum Beispiel Kosten durch entgangene Geschäfte, folgreich durch Präventivmaßnahmen auf Prozessebene erhöhte Personalkosten oder unzufriedenes Personal, wie vor: Mittels Datenqualitätsmonitoren werden Probleme Abbildung 1 verdeutlicht. frühzeitig und automatisiert im Data Warehouse erkannt Besonders in komplexen Systemen wie einem DWH set- und korrigiert. So erfährt die Datenqualität eine kontinu- zen sich Datenqualitätsmängel schnell fort. Deren Kor- ierliche Überwachung und Verbesserung. Abweichungen rektur in nachgelagerten Teilsystemen ist daher umso oder Fehler werden system-übergreifend rasch erfasst, zeitaufwändiger und teurer. Eine zielgerichtete Erken- gezielt lokalisiert und damit kostengünstiger behoben. nung von Datenqualitätsproblemen schon beim Laden des DWH ist also unerlässlich. Die comdirect bank AG ist Marktführer im Online-Bro- Die DQMP der comdirect bank AG besteht aus verschie- kerage in Deutschland. Mit diversen Auszeichnungen und denen Prüfverfahren (DQ-Module), die in Form von mehr als 1,4 Millionen Kunden, die auf ein umfangreiches Prüfroutinen (DQ-Monitore) auf konkret zu prüfende Produktportfolio Zugriff haben, ist sie die führende Di- Objekte angesetzt werden können. Es werden kritische rektbank für moderne und selbstbestimmte Anleger. Das Objekte, wie Tabellen und ETL-Prozesse von zentraler Data Warehouse (DWH) der comdirect bank AG besteht Bedeutung, durch dieses regel- und erfahrungsbasierte aus fast 2.000 Tabellen, die aus mehr als 40 Quellsystemen Werkzeug analysiert und geprüft. Wie beim automati- durch über 1.000 ETL-Prozesse beladen werden. Mit dem sierten Unit Testing üblich werden kleine Prüfbausteine Aufbau des DWH wurde 2001 begonnen; seither wurde regelmäßig ausgeführt und ausgewertet. Dies ist ein ers- das DWH kontinuierlich modifiziert und erweitert. ter Schritt hin zu testgetriebener Entwicklung. Das DWH der comdirect bank AG spielt in der IT-Infra- Ein Scheduler führt die DQ-Monitore zeitgesteuert je struktur des Unternehmens eine entscheidende Rolle; nach Definition beispielsweise täglich aus. Er startet ein Großteil der Fachbereiche der comdirect bank AG nach dem täglichen Ladelauf des DWH; somit ergeben verwendet das DWH für Auswertungen. So wird ein ent- sich keine Auswirkungen auf die Bereitstellungszeit. sprechend hoher Wert auf Effizienz und Automatisierung Die mittlere Laufzeit eines Monitors beträgt etwa 20 gelegt. Die zeitgesteuerte Ausführung von Qualitätsprü- Sekunden und führt auf den vorhandenen Systemen bei fungsroutinen auf einer DQ-Monitorplattform (DQMP) dem gegebenen Nutzerverhalten zu keinen Beeinträchti- ist daher der optimale Kompromiss zwischen Anspruch gungen. Negative Ergebnisse werden per E-Mail direkt und Realisierbarkeit. dem DWH-Team mitgeteilt, so dass kritische Situationen Mangelnde Datenqualität (DQ) im DWH führt im besten sofort behandelt werden können. Die Monitordefinition Fall zu suboptimalen Entscheidungen. Im schlechtesten Fall und -wartung sowie die Aufbereitung und Darstellung werden Fehlentscheidungen getroffen, die dem Erreichen der Laufergebnisse wurden über ein webbasiertes grafi- BI-Spektrum 04-2009 22 gegliedert. Die Umsetzung wird mit Hilfe des Oracle Warehouse Builders durch- geführt. In den meisten Fäl- len ist aber bereits in der Analysephase die Erstellung von SQL-Anfragen erforder- Schwerpunkt lich, da die zu verwendenden fachlichen Daten untersucht und vollständig verstanden werden müssen. Dazu werden unter anderem Techniken des Data Profiling verwendet. Ei- ne Auswahl dieser Anfragen kann erfahrungsgemäß direkt als Monitoreingabeparameter verwendet werden. Der Zu- satzaufwand für die Erstellung eines DQ-Monitors ist aus die- sem Grund sehr gering. Mit der Abb. 2: Module Wahl des Moduls und der An- gabe einiger weniger Parameter sches Frontend realisiert. Dieses wurde unter Einsatz von (siehe oben) ist ein Monitor damit startbereit und kann ak- Oracle Application Express (APEX) implementiert. tiviert werden. Es ist daher sinnvoll, dass bereits während Ein DQ-Monitor beschreibt eine Qualitätsprüfung und der Implementierungs- und Testphasen möglichst viele besteht aus der Angabe eines Moduls und einigen weite- Monitore aktiv sind. So werden Testläufe auf einfache Art ren Parametern, wie zum Beispiel: und Weise automatisch überwacht und ausgewertet. ◆◆ Prüfverfahren / Modul Wird ein DQ-Problem durch einen Monitor erkannt, schlägt ◆◆ Daten über zu prüfende Objekte und Entwickler sich dies in der Fehlerverwaltung nieder, indem ein neues (Namen, Schemata, etc.) Fehlerticket eröffnet wird. Im DWH-Team besitzt eine Per- ◆◆ Konkrete Prüfabfrage(n) son die Rolle für die DQMP-Betreuung. Sie überwacht die ◆◆ Angaben zur Ausführungszeit und Fehlertoleranz vorhandenen Monitore und unterstützt bei der Neuanlage, Die Module (s. Abbildung 2) definieren generische Prüf- prüft darüber hinaus die Laufergebnisse (Fehlertoleranzen verfahren, also die Art und Weise, in der eine Prüfung ab- können erlaubt sein) und eröffnet Fehlertickets zur Bear- läuft.