Data Mining als Kunde im "Daten Warenhaus"

Data Mining als Kunde im „Daten Warenhaus“ Dr. Gerhard Svolba IDC-Konferenz: Data Warehouse/Data Mining 20. März 2001 3 weitverbreitete Irrtümer 1. Data Mining ist gleichzusetzen dem „Drill-Down“ in multidimensionalen Datenbanken 2. Data Mining ist nur Daten-Konsument des Warehouses (Read-Only) 3. Data Mining kann man erst betreiben, wenn das Data Warehouse komplett fertig und befüllt ist 1 Irrtum 1: Data Mining ist gleichzusetzen dem „Drill- Down“ in multidimensionalen Datenbanken Data Mining Definition ? Data Mining ist ein Prozeß der Auswahl, Erklärung und Modellierung ? großer Datenmengen, ? um vorher unbekannte Zusammenhänge zu finden ? die Geschäftsvorteile erbringen sollen. Data Mining Beispiele aus der Praxis Vorhersage des zukünftigen Kundenwerts (Customer Lifetime Value); Stornoanalyse, Schadensanalyse, Cross- Selling Wahrscheinlichkeiten Vorhersage der Kündigungswahrscheinlichkeit von Kunden, Analyse der Kündigungsgründe, Kundensegmentierung Pfad- und Sequenzanalysen der Internet Usage, Segmentierung von Visits Analyse und Bewertung der Korrektheit von Subventionsanträgen 2 Data Mining Methodik Vorhersage- modelle rungsmodelle Segmentie- Idealfall: „Konsum“ der Daten für Data Mining aus dem Data Warehouse ? Kundenstammdaten (Deduplikation) ? Externe, demographische Daten ? Produkt- und Vertragsdaten, Produktusage ? Kundenkontakte, Kundenhistorie ? Marktforschungsdaten ? Internet Usage ? Kundenzentriert, Kundensicht 3 Aufbau des Data Mining Marts ? Pro Analyseobjekt/subjekt eine Zeile • Zeitdimension in den Spalten abbilden • Abgeleitete Variablen: z.B: Change Indikatoren • Datumswerte relativ zu einem Event setzen ? Zeitdauer • Statistische Transformationen (Verteilungsannahmen) • Aggreationen ? Vielzahl von möglichen Analysevariablen ? Problem: Fehlende Werte ? Definition der Analysepopulation und der Zielvariable Irrtum 2: Data Mining ist nur Daten-Konsument des Warehouses (Read-Only) Scoring CustID Age Region Calls Calls Cluster- month 1 month 2 Scorekarte 642510 43 Wien 203 340 Churn- 436210 70 NÖ 310 400 Scorekarte CustID Age Region Calls Calls Churn Kunden month 1 month 2 Score Cluster 642510 43 Wien 203 340 0.237 „Just Phoning“ 436210 70 NÖ 310 400 0.945 „Extra Service User“ 4 Arten des Scorings ? Statisches Scoring • Scores (z.B: Kündigungswahrscheinlichten) werden als zusätzliche Spalte in die Tabelle eingefügt und sind dort gespeichert • Aktualisierung in vorgegebenen Zyklen (z.B: wöchentlich) ? Dynamisches ScoringOnline • Auf die zu scorende Tabelle wird ein View/Query definiert. Dieser enthält den Algorithmus der Scorekarte. • Die Scorekarte wird bei jeder Abfrage neu auf die Daten angewandt und liefert so hochaktuelle Werte. Verwendung der Data Mining Ergebnisse ? Verständnis der Kunden und des Kundenverhalten • Einflußfaktoren für bestimmte Ereignisse • Zusammenhänge, Intera´ktionen, Sequenzen ? Kundenscores für die operative Anwendung • Zielgruppendefintion für Target Mailing • Bestimmung optimaler Verkaufs/Kommunkationskanäle • Online Scoring beim Call Center Kontakt ? The Power To Know Your Customers 5 Irrtum 3: Data Mining kann man erst betreiben, wenn das Data Warehouse komplett fertig und befüllt ist ? Datenbestand für Data Mining Analysen muß nicht tagesaktuell sein ? Erstellung eines Prototyps des Data Mining Marts • Warehouse/Non-Warehouse Daten • Externe Daten ? Pilot Mining Projekt • Welche Ergebnisse erziele ich mit vorhandenen Daten? • Wie sieht die aktuelle Datenqualität aus? • Erfahrungen fliessen in den Warehouse Aufbau ein • Rechtzeitiger interner Know-How Aufbau SAS Data Mining Projekt-Methodologie Define business Evaluate Make data problem environment available Review Mine in cycles Explore Modify Sample Implement in Model production Assess 6 Die SAS-Lösung für Enterprise Marketing Automation (EMA) SAS SAS Campaign Management Data Mining Lösung Lösung SAS Datenhaltungs-, Datenzugriff- und Datenmanagement Tools SAS Reporting SAS/Enterprise Miner ? Vollständige und umfassende Data Mining Suite ? Das „Mining Tool“ laut IDC, Meta Group, Gartner Group, Yphsis 7 Kriterien für ein Data Mining Tool ? Flexibilität • Prozessflußdiagramme • Kombination mit User-Written Code ? Produktivität • Rasche Modellbildung • Nachvollziehbarkeit – Teamworking • Wartung und Dokumentation Kriterien für ein Data Mining Tool ?Methodenvielfalt ? Entscheidungsbäume ? Nicht lineare Regression ? Multidimensionale ? Survival-Analysen Skalierung ? Neuronale Netze ? Zeitreihenprognosen ? Regressionsmodelle ? Nicht parametrische Verfahren ? Self Organizing Maps ? ANOVA ? Kohonen-Netzwerke ? Hauptkomponentenanalyse ? Clusteranalyse ? Faktorenanalyse ? Assoziations- und Sequenzanalyse ? Variablenselektion 8 Kriterien für ein Data Mining Tool ?Automatisierbarkeit • Aktualisierung des/der Data Mining Marts • Durchführung der Analyse/Modellierung • Reporting und Informationsverteilung • Scoring ?End-to-End Data Mining Lösung • Datenzugriff, Sampling, Datenaufbereitung • Visualisierung, Exploration • Modellierung • Assessment • Scoring Kriterien für ein Data Mining Tool ?Skalierbarkeit • Plattform – Datenmenge • Datenquelle • Analyse-Funktionalität ?Integration • Datenquellen (ODBC, rel. Datenbanken, ...) • Scoring-Prozess • Reporting (HTML, Word, ActiveX, ...) 9 SAS/Warehouse Administrator ? Administration des Warehouseaufbaus ? ETL-Prozess ? Definition und Verwaltung der Metadaten ? Verwaltung und Abbildung der Warehouseprozesse ? Code Management ? Job Scheduling ? Dokumentation Schnittstellen: Mining-Tool/ Warehouse Administration Tool ? Verwaltung der Aufbereitungsprozesse für den Data Mining Mart ? Verwendung der Warehouse Meta-Daten für Data Mining ? Anwendung komplexer Sampling -Methoden bereits im Warehouse ? Automatisierung des Scoring-Prozesses, Verwaltung der Scorekarten aus dem Mining Tool ? Verwaltung der Dokumentation der Mining Prozesse 10 Zusammenfassung ? 3 Klarstellungen • Data Mining bedeutet multivariate statistische Analyse • Data Mining generiert einen Added Value für das Data Warehouse • Data Mining (Pilot)Projekte benötigen als Input einen Analyse Datamart ? Sichtweisen der Integration • Fachlich: Wie ist Data Mining in die Businessprozesse integriert? • Technisch: Warehousing/Mining/Zugriff auf Mining Ergebnisse Fragen SAS-Austria Dr. Gerhard Svolba Data Mining – CRM – E-Intelligence Mariahilfer Straße 116 1070 Wien Tel: 596-88-82/250 11