Einsatz und Anwendung von Subplans

Einsatz und Anwendung von Subplans März 2005 Einführung ................................................................................................... 3 Übersichtlichkeit............................................................................................ 3 Iterative Subplans (Schleifen) ........................................................................... 5 Batchverarbeitung ........................................................................................ 10 Performanz und Skalierbarkeit......................................................................... 13 Zusammenfassung ........................................................................................ 16 Abbildungen ................................................................................................ 17 Dieses Dokument dient dazu die Möglichkeiten, die sich durch die Einführung von Subplans in Sagent er- geben, zu beschreiben. Die Ausführungen erstrecken sich, von der einfachen Art komplexe Pläne zu strukturieren und damit ihre Lesbarkeit zu erhöhen, bis hin zur prozeduralen Steuerung und der dynamischen Planausführung. White Paper „Subplans“, März 2005 2 Autor: Volker Dietrich Einführung Subplans wurden als neue Komponente in der Sagent Version 5 eingeführt. Neben der grundsätzlichen Funktionalität, Pläne besser zu strukturieren, eröffnen sie noch weit größere Möglichkeiten, die hier beispielhaft aufgezeigt werden sollen. Übersichtlichkeit Ein Plan, der auf gewohnte Art und Weise erstellt wurde, kann auf den ersten Blick et- was verwirrend wirken: Abbildung 1: Kundensegmentierungsplan ohne Subplans Durch Markieren mehrerer Transforms und der Auswahl des Punktes „Move into new Subplan“ wird dieser Plan übersichtlicher gestaltet. So werden durch den Einsatz von Subplans einige Detailschritte in Untergruppen eingeteilt und zu logischen Blöcken zu- sammengefasst. White Paper „Subplans“, März 2005 3 Autor: Volker Dietrich Abbildung 2: Kundensegmentierungsplan mit Subplans Das macht den Plan einerseits besser lesbar, andererseits ermöglicht es das gleichzeitige Arbeiten an verschiedenen Teilen des Plans – wobei die Schnittstellen bzw. die Überga- bepunkte genau definiert sind. Abbildung 3: Subplan zur Gewinnerrechnung Abbildung 4: Subplan zur Segmentierung White Paper „Subplans“, März 2005 4 Autor: Volker Dietrich Iterative Subplans (Schleifen) Um Pläne dynamischer zu gestalten, greift man auf das Konzept der Iteration zurück. Hat man beispielsweise eine Liste gleich formatierter Flat Files, die eingelesen werden müssen, so kann man das mit Hilfe von Subplans einfach bewerkstelligen. Abbildung 5: Iterativer Plan Die Logik hinter diesem Plan ist, dass der Transform „Read List of Files“ eine Textdatei mit den Namen der auszulesenden Files verarbeitet. Diese Liste kann zum Beispiel mit dem „DIR Befehl“ unter Windows oder mit dem „ls Befehl“ unter Unix erstellt worden sein. Abbildung 6: Datei mit Dateinamen White Paper „Subplans“, März 2005 5 Autor: Volker Dietrich Nachdem diese Liste eingelesen wurde, wird mittels eines Expression Calculators noch der Pfadname hinzugefügt. Abbildung 7: Zusammensetzen des Pfades mit dem Expression Calculator Innerhalb des Subplans befindet sich dann eine File Quelle, welche die eigentlichen Da- ten liest. Abbildung 8: Inhalt des Subplans White Paper „Subplans“, März 2005 6 Autor: Volker Dietrich Wenn man nun im Kontextmenü die Settings des Transforms aufruft, sieht man, dass der File Name (das Server File) zu den offen gelegten Eigenschaften des Transforms gehört. Abbildung 9: Flat File Transform Eigenschaften Diese und jede andere offen gelegte Eigenschaft kann nun durch die Iterations- einstellung des Subplans verändert werden. Durch die Auswahl des Punktes Iteration im Kontextmenü (rechte Maustaste) des Sub- plans kommt man in die Maske zur Festlegung der Iterationseigenschaften. Abbildung 10: Iterationseigenschaften des Subplans wählen White Paper „Subplans“, März 2005 7 Autor: Volker Dietrich Abbildung 11: Eigenschaften der Iteration Wenn nun das Property Assignment Tab gewählt wird, hat man die Möglichkeit, den Da- tenfeldern, die mit dem Iterationseingang des Subplans verbunden sind, Eigenschaften von Transforms innerhalb des Subplans zuzuordnen. Dies bedeutet, dass für jedes Durchlaufen des Subplans den Transforms ein neuer Wert zugeordnet wird. So werden dem Subplan dynamisch Daten übergeben beziehungsweise es wird dynamisch Einfluss auf die Logik des Planes genommen. White Paper „Subplans“, März 2005 8 Autor: Volker Dietrich Abbildung 12: Zuordnung der Iterationseigenschaften Während der Laufzeit liest der Data Flow Service nun die Dateinamen aus und übergibt sie nach einander dem Subplan, der die Dateinamen dynamisch dem in ihm enthalte- nen Transform übergibt. Alle Daten werden so in einer Schleife eingelesen und nachein- ander dem Ausgang des Subplans übergeben. In diesem Fall ist der Ausgang ein „Grid“, so dass die Daten nach Quelle geordnet, angezeigt werden. Das Ergebnis wird schließlich im „Grid“ für alle Eingangs-Dateien angezeigt. White Paper „Subplans“, März 2005 9 Autor: Volker Dietrich Batchverarbeitung Eine andere Möglichkeit den iterativen Eingang von Subplans zu nutzen, ist die Batchve- rarbeitung. Abbildung 13: Beispiel Batchverarbeitung In diesem Fall kommen die Daten vorsortiert z.B. aus einer Datenbankabfrage und sollen in verschiedenen Dateien gemäß dem Jahr in dem sie angefallen sind abgelegt werden. Abbildung 14: Erstellen des Dateinamen White Paper „Subplans“, März 2005 10 Autor: Volker Dietrich Im Expression Calculator wird der Name des Files in dem die Daten abgelegt werden sol- len, zusammengesetzt. Abbildung 15: Subplan Tab Genaral Properties Dieser zusammengesetzte Dateiname wird nun dem Subplan übergeben. Im General Tab wird die Iterationsstufe eingestellt. Hier wird der Subplan nicht für jeden Datensatz auf- gerufen, sondern nur wenn sich eine Änderung im Dateinamen (in unserem Fall das Jahr) ergibt. Außerdem wird hier eingestellt, ob die Daten vorsortiert geliefert werden oder der Subplan selbst sortiert. Abbildung 16: Subplan Eigenschaften Zuordnung White Paper „Subplans“, März 2005 11 Autor: Volker Dietrich Im Property Assignments Tab wird nun der Dateiname (filename) der Eigenschaft ‚File’ des Delimited Text File Sink zugeordnet. Abbildung 17: Fluss im Subplan Im Subplan wird schließlich über einen Column Select der Dateiname aus dem Datenfluss herausgefiltert und die Daten in den jeweiligen Dateien abgelegt. Abbildung 18: Ergebnis der Batchverarbeitung Als Ergebnis erhält man mehrere nach Jahren sortierte Dateien, die von einem Plan mit einem Planaufruf erstellt wurden. Ein weiteres Beispiel ist die Erzeugung von Dateien für verschiedene Abteilungen oder Produktgruppen. White Paper „Subplans“, März 2005 12 Autor: Volker Dietrich Performanz und Skalierbarkeit Um zu verstehen, wie man mit Subplans die Performanz und Skalierbarkeit eines Plans verbessert, muss man zuerst verstehen in welchen Teilen des Planes es zu Engpässen kommen kann. Es gibt, grob gesehen, zwei Typen von Transforms: Blocking und Non-Blocking Trans- forms. Non-Blocking Transforms arbeiten einfach, indem sie einen Datensatz manipulie- ren, weitergeben und danach den nächsten Datensatz bearbeiten. Blocking Transforms hingegen müssen erst alle Daten sammeln bevor sie einen Datensatz bearbeiten und weitergeben können. Deshalb konzentriert man sich im Tuning-Prozess oft auf diese Blocking Transforms: • Analytical Calculator • Comparison • Disk Sort • Forecaster • Join • Memory Sort • Percent of Total • Pivot • Rank • Remove Duplicate Rows Alle diese Transforms müssen Daten sortieren, bevor sie mit der Manipulation anfangen können. Die Sortierung der Daten erfordert aber desto mehr Zeit, je größer die Datenmenge ist und je mehr Felder sortiert werden müssen. So zeigt ein einfacher Plan mit einem Pivot unterschiedliche Laufzeiten wenn die Daten vorsortiert bzw. nicht vorsortiert sind.