Überblick
Wenn Geschäftsführer die digitalen Transformation ihrer Geschäftsmodelle, Prozesse und Kulturen angehen, muss die IT liefern. Sie muss nicht nur den Betrieb aufrechterhalten, sondern auch Dienstleistungen anbieten, um die digitalen Ziele zu erreichen. Für neue, sich entwickelnde Geschäftsanforderungen muss nicht nur die Infrastruktur optimiert werden – was Geld spart -, sondern auch ein direkter Mehrwert durch die Entwicklung von Busines-Anwendungen geliefert werden. Laut Gartner Vice President Dennis Smith "bietet die Anwendungsentwicklung die Möglichkeit, auf den Expresszug des Wandels aufzuspringen."
In den letzten Jahren ist als Reaktion auf diese neuen Geschäftsanforderungen ein neues Feld entstanden: das Data Engineering. Wie der Data Scientist schreibt auch der Dateningenieur Code, ist sehr analytisch und erstellt Datenvisualisierungen. Im Gegensatz zum Data Scientist baut er jedoch auch Anwendungen sowie Infrastruktur, Frameworks und Services. Diese Rolle dient direkter den Bedürfnissen von Geschäftsanwendern, die Hilfe beim Sammeln und Analysieren großer Datenmengen benötigen. Wie Maxime Beauchemin, CEO und Gründer von Preset, bereits 2017 erläuterte: "Das Data Engineering-Feld könnte als eine übergeordnete Mischung aus Business Intelligence und Data Warehousing verstanden werden, in die viele Elemente aus dem Software-Engineering hineinspielen."
Das Data Engineering-Team erfüllt eine Vielzahl von Rollen im Unternehmen. Im Folgenden finden Sie die zehn häufigsten Fälle, in denen sie das Geschäft unterstützen und vorantreiben können:
1. Basale Architekten
Bevor Data Science-Strategien wie KI, Deep Learning und Experimentation durchgeführt werden können, legen Dateningenieure die Grundlage für die Datenerfassung, -verlagerung, -speicherung, -exploration und -transformation. In ihrem Beitrag "AI Hierarchy of Needs" platzierte Data Science- und KI-Beraterin Monica Rogati diese Funktionen auf den unteren drei Ebenen und erläutert, dass sie zuerst abgeschlossen werden müssen.
2. Baumeister
Beauchemin entdeckte den "Baumeister" ("Builder") des Data Engineerings bei Facebook, wo er "neue Fähigkeiten, neue Wege und neue Tools entwickelt". In kleineren Organisationen ohne formale Dateninfrastrukturteams kann die Rolle des Dateningenieurs den Aufbau und die Ausführung der Dateninfrastruktur des Unternehmens bedeuten. In größeren Unternehmen teilen sich die Dateninfrastruktur- und Engineering-Teams diese Verantwortung und automatisieren diese Prozesse manchmal, damit sie an übergeordneten strategischen Projekten zusammenarbeiten können.
3. Softwareentwickler
Damit ein Modell nützlich ist, müssen Analysten es mit großen Datenmengen füttern und es nahezu in Echtzeit und ereignisgesteuert ausführen können. Die Ausgabe des Modells – beispielsweise eine Umsatzprognose – muss dann in eines der Transaktionssysteme des Unternehmens zurückgeführt werden. All dies erfordert ein Modell, das "im Labor zusammengebastelt wurde", wie Teradatas Vice President of Technology für EMEA schreibt, und das riesige Datenmengen verarbeiten kann.
Um ein entsprechendes Leistungs- und Skalierbarkeitsniveau zu erreichen, müssen die Dateningenieure programmieren können. Nur so können sie die erforderliche Komplexität von der ETL-Software abstrahieren. Laut Beauchemin sind die "Abstraktionen, die von traditionellen ETL-Tools aufgedeckt werden, off-target... Die Lösung besteht nicht darin, ETL-Primitives (wie Quelle/Ziel, Aggregationen, Filterung) per Drag & Drop verfügbar zu machen. Die benötigten Abstraktionen sind von einem höheren Niveau."
4. Governance-Validierung
Das Data Warehouse hat sich in den letzten Jahren zu einer öffentlicheren, kollaborativen Institution entwickelt, die von Datenwissenschaftlern, Analysten und Softwareingenieuren weiterentwickelt wird. Die Öffnung des Zugangs zu Unternehmensdaten kann Innovationen beschleunigen, sie kann aber auch zu mehr Chaos führen - etwa wenn es keine klaren Verantwortlichen für Datensätzen oder keine Kriterien für deren Verwendung gibt.
Hier können Dateningenieure helfen. Sie können Cluster innerhalb des Data Warehouse "besitzen", die über Kernschemata mit klar definierten und gemessenen SLAs, strikt zu befolgenden Namenskonventionen, hochwertigen Metadaten und Dokumentationen sowie Best Practices verfügen.
5. Experten des "Center of Excellence"
Dateningenieure können Schulungsprogramme leiten, die anderen Teams helfen, das Data Warehouse optimal zu nutzen und mit den Daten und Tools des Unternehmens vertraut zu sein.
6. Bibliothekare
Dateningenieure können Metadaten katalogisieren und organisieren. Sie können auch definieren, wie Daten korrekt in das Warehouse gespeichert oder daraus extrahiert werden.
7. Business Analysten
Die Rolle des Dateningenieurs erweitert sich ständig. Nach wie vor umfasst sie aber typische Business Intelligence-Aufgaben wie das Erstellen und Ausführen von Portfolios und Dashboards. Dateningenieure können auch als Brücke zwischen Geschäfts- und Data-Science-Einheiten dienen, da sie die Sprachen beider Teams beherrschen und effektiv zwischen ihnen vermitteln können.
8. Performance-Tuner
Unternehmen investieren mehr denn je in die Dateninfrastruktur, was Dateningenieuren die Chance gibt, sich auf die Optimierung der Performance zu konzentrieren. Ihre Bemühungen sollten sich darauf richten, mit weniger mehr zu erreichen und die Ressourcennutzung genau wie die Kosten langfristig nachhaltig zu gestalten.
9. Datenintegratoren
Unternehmen verlassen sich immer mehr auf SaaS-Plattformen, aber nicht alle Anbieter offerieren Dienste und Know-how, die zu einer reibungslosen Integration in das Data Warehouse nötig sind. Dateningenieure verfügen über die entsprechenden Fähigkeiten und helfen dem Unternehmen, ein integrales, vollständiges Bild aller seiner Daten zu erhalten.
10. Dienstleister
Häufig bieten Dateningenieure Services und Tools an, die typische manuelle Aufgaben automatisieren. Sie können beispielsweise unter anderem die Datenerfassung, Metrikberechnungen, die Metadatenverwaltung oder auch A/B-Tests automatisieren, was allen die Arbeit erleichtert.
Bei allen Änderungen im Unternehmen ist es wichtig, die digitalen Geschäftsanforderungen zu erfüllen. Auch muss stets datengesteuert agiert werden. Unternehmen, die sich bei der Vorbereitung, Erstellung und Integration von Daten und Tools auf Dateningenieure verlassen, werden genau diese datengesteuerten Kulturen schaffen, die sowohl agil als auch integral sind – was das ultimative Ziel der digitalen Transformation ist.