Im Rahmen des Data Quality Lifecycles den wir mit unseren “Data Quality Components for SQL Server Integration Services” unterstützen, adressieren wir mit dem datenfabrik.profiler die beiden Zyklen Profiling und Monitoring.
Welchen Funktionsumfang wir für den Zyklus Profiling bieten, habe ich zum Teil in dem Data Profiling – Teil 3 aufgezeigt. Den Monitoring Zyklus unterstützen wir mit einigen weiteren Funktionen.
Statistics Save Mode
Im Repository können die Daten des Profiling historisiert gespeichert werden, wodurch die Qualität der geladenen Daten durchgehend überprüft werden kann. Hierfür bietet der datenfabrik.profiler zwei unterschiedliche Speicher-Modi an. Die jeweils mit dem SSIS Paket geladenen und verarbeiteten Daten können bei jeder Ausfürhung vollständig gespeichert werden (Version Control) oder die Daten werden über den den Speicher-Modus “Update existing statistics” mit den jeweils neuen Ergebnisse aktualisiert. Dieser Speichermodus eignet sich insbesondere für inkrementelle Ladeprozesse, bei denen man nicht die einzelnen Ausführungen dediziert überwachen möchte, sondern eine Analyse über die gesamten Informationen zu dem jeweiligen Zeitpunkt eines Ladeprozess benötigt.
Sämtliche Ergebnisse werden im Repository gespeichert und können nachträglich immer wieder analysiert werden. Hierdurch können auch Trends innerhalb der Daten erfasst werden.
Ein dritter existierender Speichermodus “Overwrite existing statistics” speichert die Daten nicht historisiert, sondern jeweils nur die letzte Ausführung.
Alerts
Eine weitere Funktion die das Monitoring innerhalb des datenfabrik.profiler unterstützt, sind die sogenannten Alerts. Über diese Alerts können die Ergebnisse einzelner Regeln auf Spaltenebene überwacht werden. Wenn das Ergebnis im Rahmen eines Alerts über- oder unterschritten wird und nicht gleich dem voreingestellten Wert ist, so wird ein Alarm erzeugt. Die zu prüfenden Werte können dabei absolut oder prozentual sein.
Es werden derzeit insgesamt 3 Alert Types unterstützt (Management Log, Email und SSIS Compopnent) und drei verschiedene Satus (Information, Warning, Error).
Wird ein Staus an die SSIS Komponente weitergereicht, so erscheint das Ergebnis im Status Log innerhalb der Paketausführung, im Falle eines Errors wird das Paket dadurch auch abgebrochen. Mit Hilfe der Alerts können die zu ladenden Daten also sehr detailliert überwacht werden und im Zweifelsfall kann sogar der Import oder die Weiterverarbeitung der Daten gestoppt werden.
