Seit ein paar Tagen hat die Azure Data Factory – und an der Stelle leider auch nur die ADF und noch nicht Azure Synapse Analytics – mit der Power Query Activity eine mächtige neue Activity um Transformationen/Data Wranglings oder sogenannte Power Query-Mashups zu erstellen.
Die Power Query Activity unterstützt aktuell noch nicht das vollständige Spektrum an M Funktionen. Eine vollständige Liste der unterstützten Funktionen ist hier zu finden: Data Wrangling-Funktionen in Azure Data Factory – Azure Data Factory | Microsoft Docs
Auch die Datenquellen beschränken sich aktuell noch auf CSV, Excel und Parquet als Dateien auf einem Blob Storage bzw. Azure Data Lake sowie auf die Azure SQL Database und Synapse Analytics als Datenbanken.
Die so entwickelten Power Query Scripte werden für die Ausführung im Hintergrund in Data Flow Scripte übersetzt und dann auf einem Spark Cluster ausgeführt. Somit können auch große Datenmengen performant verarbeitet werden.
Aus meiner Sicht bietet die ADF mit den Power Query Activites eine sehr gute neue Activity um grundlegende Transformationen schnell und einfach durchzuführen. Ich hoffe aber, das die Anzahl an unterstützten Transformationen und vor allem an unterstützten Datenquellen zeitnah noch wachsen wird.
Weitere Informationen sind hier zu finden:
Power Query-Aktivität in Azure Data Factory – Azure Data Factory | Microsoft Docs
Erste Schritte mit Wranglingdatenflüssen in Azure Data Factory – Azure Data Factory | Microsoft Docs
Data Wrangling in Azure Data Factory – Azure Data Factory | Microsoft Docs
