Modern Data Analytics - Mehr wissen mit weniger Aufwand
Was er sagte, ist erstaunlich simpel: Erfolg setzt Kenntnis der Wahrheiten (beispielsweise der Unternehmenszahlen) voraus, auf deren Basis dann entschieden werden kann. Das ist weder neu noch berauschend innovativ und doch erlebe ich täglich Unternehmen, welche an genau diesem Punkt scheitern.
Challenge
Manager brauchen saubere Entscheidungsgrundlagen – dazu gehören Zahlen und Fakten zu der IST-Situation des Unternehmens.
Noch immer ist es schwierig, diese Zahlen zu erzeugen – in vielen Organisationen werden Zahlen manuell zusammengetragen und als Excel oder PowerPoint versendet. Ein Reporting, welches so aufgesetzt ist, hat gleich mehrere Nachteile.
- Hohe Kosten durch den manuellen Aufwand
- Hohe Fehleranfälligkeit durch Copy/Paste Fehler
- Keine Nachvollziehbarkeit wie die Zahlen zustande gekommen sind (Compliance)
- Geringe Zuverlässigkeit, da die Zahlen durch jeden verändert werden können
Modern Data Architecture
Data Factory
Mit der Data Factory können Daten aus beliebigen Quellen (SAP, SQL, Dynamics, SalesForce, Files etc) gelesen und aufbereitet werden. Das Ergebnis der Aufbereitung wird im DataLake als Datei (.json, .txt, …) abgespeichert. PowerBI selbst kann auf diese Dateien zugreifen, wie auf einen DB-Server.
Der gesamte Prozess ist automatisiert und erzeugt kaum noch Kosten. Die Daten können Tages-, Stunden- oder Minutenaktuell sein. Jedes Unternehmen kann mit dieser Architektur wertvolle Insights gewinnen und bessere Entscheidungen treffen.
Vorteile
- Azure Data Factory erzeugt pay-per-use Kosten, das heisst die Kosten fallen nur an, wenn Daten gelesen und verarbeitet werden.
- Die Datenhaltung im Datalake ist im Vergleich zum SQL DWH preislich sehr attraktiv, abgerechnet wird per GB.
- Der Prozess der Datenaufbereitung in der Data Factory kann durch einen «Citizen Developer» konfiguriert werden – die Abhängigkeiten zum spezialisierten Data Team entfallen.
- Deployment und Betrieb können vollständig automatisiert werden.
- Volle Kostentransparenz.
Doch wo ist der SQL-Server, Snowflake oder mein Datawarehouse? Wir haben uns so sehr an diese Buzzwords gewöhnt, dass oft nicht hinterfragt wird, ob es diese überhaupt braucht. Diese Tools (SQL-DWH, Snowflake etc) erzeugen hohe Kosten und sind nicht immer nötig. Auch ohne ein ausgewachsenes DWH sind Analytics und Reporting möglich.
Fazit
In Data Projekten gilt die bewehrte Regel «start small, move fast». Aus meiner Erfahrung kann ich sagen, dass die obige Architektur stark erweiterbar ist und eine schnelle Weiterentwicklung ermöglicht. Es wird sich nichts verbaut und die Initialkosten sind wesentlich attraktiver als im klassischen DWH Projekt.
