Überblick
Die Medallion-Architektur ist ein Datendesignmuster, das Daten in drei progressive Schichten aufteilt: Bronze für Roheingang, Silber für gereinigte und konforme Modelle und Gold für geschäftsreife Lieferung. Jeder Hop verbessert Qualität und Struktur, sodass nachgelagerte Abfragen Rohquellen nicht direkt lesen. Analytics und KI verbrauchen vertrauenswürdige, leseoptimierte Tabellen, während die Rohhistorie für Audit- oder Pipeline-Wiederholung intakt bleibt.
Die Medallion-Architektur und der geschichtete Datawarehouse-Abschnitt darunter ordnen die Schichten den klassischen Warehouse-Ebenen zu. Ein Medallion-Design definiert, wie Daten verfeinert werden, nicht wo sie gespeichert werden. Eine Schicht ist ein logischer Checkpoint, kein physisches Speicherarray, daher gilt sie für ein Seehaus, ein klassisches Warehouse oder eine Mischung aus beidem.
Wichtige Erkenntnisse
- Jede Schicht braucht einen eigenen Zweck, einen Eigentümer und eine Qualitätsgarantie
- Das Muster bleibt anbieterneutral und stützt sich auf die Konzepte des Stagings, Integrations- und Präsentationskonzepts des klassischen Enterprise Data Warehouses
- Zu den Kompromissen gehören ein doppelter Speicherfootprint, Pipeline-Latenz und Scope-Drift, was Architekten dazu drängt, das fixe Drei-Hop-Modell an die Realität anzupassen
Medallion-Architektur als Multi-Hop-Muster
Die Medallion-Architektur wird auch "Multi-Hop" genannt, da Daten von einer Ebene zur nächsten wechseln. Sie läuft üblicherweise auf einem Seehaus. Jeder Hop wendet eine definierte Reihe von Transformationen und Prüfungen an.
Die Bronze-, Silber- und Goldschichten
Bronzeschicht: Rohdaten, sobald sie eintreffen
Die Bronze-Schicht absorbiert Daten aus den Quellsystemen genau so, wie sie kommen. Dies umfasst Datenbankextrakte, Change-Data-Capture-(CDC)-Feeds, Anwendungsprotokolle, flache JSON/CSV-Dateien oder Rohereignisströme. Datensätze behalten ihre ursprünglichen Schemata, ergänzt nur durch Lademetadaten wie Zeitstempel, Quellursprung und Prozess-IDs. Da Bronze meist nur als Anhang verfügbar ist, bewahrt es die Audit-Historie des Eingetroffenen, sodass Teams beschädigte nachgelagerte Tabellen löschen und neu erstellen können, ohne die Quellsysteme erneut zu lesen.
Silberschicht: Reinigen, angepasst und validiert
Die silberne Schicht der Medallion-Architektur zwingt Rohdaten in zuverlässige, konforme Daten. Pipelines an dieser Grenze setzen feste Schemata durch, lassen Duplikate weg, behandeln Nulls, standardisieren Codes und Einheiten und ordnen disparate Quelleinträge gemeinsamen Unternehmenseinheiten wie Kunden, Produkten und Konten zu. Da Silver-Tabellen auf der granularen Detailebene bleiben und nicht in Aggregate zusammengefasst werden, werden sie zum primären Arbeitsbereich für Data Engineers, Data Scientists und Analysten, die flexible, validierte Details benötigen.
Goldebene: Geschäftsreife Daten
Die Goldschicht kuratiert Silberdaten für unterschiedliche Verbrauchsmuster, wie z. B. dimensionale Sternschemata für BI, voraggregierte Kennzahlen für Executive-Dashboards, dichte Feature-Tabellen für Machine-Learning-Modelle und kuratierte Datensätze für KI-Anwendungen. Gold-Tabellen korrigieren Unternehmensgeschäftsregeln, wie die exakte Berechnung der anerkannten Umsatzerlöse. Und sie optimieren Leseleistung, den Handel von Speicher gegen weniger Laufzeitjoins und vorhersehbare Parallelität.
| Dimension | Bronze | Silber | Gold |
|---|---|---|---|
| Zweck | Landieren und Quelldaten bewahren | Reinigen, konformen und integrieren | Spezifische geschäftliche Zwecke bedienen |
| Datenstatus | Roh, wie geliefert, meist nur als Anhang | Validiert, dedupliziert, detailliert | Aggregiert, modelliert, kuratiert |
| Typisches Modell | Quellstrukturen plus Lade-Metadaten | Normalisierter oder Data Vault-Stil | Dimensionale (Sternschemata), Feature-Tabellen |
| Hauptnutzer | Data Engineers | Data Engineers, Data Scientists, Analysten | Business Analysts, BI-Tools, ML- und KI-Anwendungen |
| Änderungstoleranz | Absorbiert Quellenänderungen | Entwickelt sich mit Quell- und Entitätsänderungen weiter | Stabile Definitionen mit versionierten Änderungen |
Hier ist ein Beispiel für die Medaillon-Architektur. Ein Einzelhändler verbucht Kassentransaktionen und Webbestellungen in Bronze genau so, wie jedes System sie sendet. In Silber werden die beiden Feeds dedupliziert, Produktcodes standardisiert und jede Bestellung ist mit einem Kundendatensatz verknüpft. In Gold werden die Daten zu einer täglichen Verkaufstabelle nach Filiale und Produkt sowie zu einer Kundenfeature-Tabelle für ein Nachfrageprognosemodell.
Wie Daten durch eine Medaillon-Architektur fließen
Pipelines zwischen Schichten erfüllen zwei Aufgaben. Sie transformieren Daten und entscheiden, ob Daten für den Weitergang geeignet sind. Die Prüfungen werden unter Qualitätsgattern zwischen Schichten beschrieben.
ETL oder ELT?
Die Medallion-Architektur folgt in der Regel einem Extract, Load, Transform (ELT)-Muster anstelle des klassischen extract, transform, load (ETL). Systeme geben zuerst Rohströme in Bronze ab und führen die schweren Transformationen nativ innerhalb der Plattform aus, um Datensätze in Silber und Gold zu verschieben. Allerdings können spezifische Hopfen, wie das Zusammensetzen eines komplexen Goldaggregats aus mehreren Silbertischplatten, weiterhin auf intensive ETL-ähnliche Verarbeitung angewiesen sein.
Batch- und Streaming-Pipelines
Die Architektur erfordert keine nächtlichen Batches. Mit Streaming-Daten landen Ereignisse kontinuierlich in Bronze, und inkrementelle Pipelines führen neue Datensätze in Silber und Gold. Moderne Open-Table-Formate ermöglichen dies, indem sie exakte Commit-Historien verfolgen, sodass nachgelagerte Jobs nur die Deltas abrufen können, anstatt ganze Tabellen erneut zu scannen. In der Produktion mischen Teams routinemäßig beide Ausführungsmodi, streamen die Pfade, die operative BI liefern, während die schweren historischen Aufgaben gebatcht werden.
Medallion-Architektur und das geschichtete Datenlager
Lange bevor der Name Medaillon gebräuchlich wurde, unterteilten Enterprise-Data-Warehouse-Architekten Umgebungen in einen Staging Area, einen Integrationskern und eine Präsentationsebene von Data Marts. Staging absorbierte Quellextrakte, Integration integrierte sie zu einem festen Unternehmensmodell, und Marts bedienten bestimmte Abteilungen. Die Medallion-Architektur lässt sich auf diese klassische Disziplin übertragen:
| Medaillonschicht | Traditionelle Lagerschicht | Typischer Datenmodellierungsansatz |
|---|---|---|
| Bronze | Sammelfläche / Landezone | Quellenförmige Tabellen, die in älteren Designs oft nur kurzzeitig aufbewahrt werden |
| Silber | Integrationsschicht, operativer Datenspeicher, Unternehmens-Datenlagerkern | Dritte Normalform oder Data Vault für Historie und Prüfbarkeit |
| Gold | Präsentationsschicht, Data Marts, semantische Ebene | Dimensionale Modelle (Sternschemata) und Aggregate |
Der Wandel liegt in der Speicherökonomie und Open-Table-Architekturen. Traditionelle Warehouses haben häufig nach dem Laden Staging-Zonen gelöscht, um Festplattenkosten zu vermeiden. Günstiger Objektspeicher macht es nun erschwinglich, vollständige Rohgeschichte zu speichern. Open-Table-Formate wie Apache Iceberg und Delta Lake bieten diesem Speicher zuverlässige, datenbankähnliche Transaktionsunterstützung, egal ob er in einem Data Lake oder einem Data Warehouse liegt. Für erfahrene Enterprise-Data-Warehouse-Teams besteht der Hauptunterschied in einer länger dauerhaften Rohschicht, während die grundlegenden Datenmodellierungsparadigmen unverändert bleiben.
Datenqualität und Governance über die verschiedenen Ebenen hinweg
Das Muster ist ebenso sehr ein Governance-Modell wie ein Pipeline-Modell. Jede Ebenengrenze bietet einen Checkpoint, um den Datenzustand zu messen, die Ausführungslinie zu protokollieren und Zugriffskontrollen anzuwenden. Da das Muster anbieterneutral ist und häufig als gemeinsamer Wortschatz verwendet wird, bieten seine Ebenengrenzen Teams einen standardisierten Ort, um diese Steuerelemente anzuwenden.
Qualitätsgatter zwischen den Schichten
Produktionsumgebungen verankern ihre Datenqualitätsprüfungen direkt an den Übergangsgrenzen und verschärfen das Regelwerk, während die Daten stromabwärts wandern.
- Zwischen Bronze und Silber: Die Gatter umfassen Schema- und Typvalidierung, erforderliche Felder, Duplikaterkennung, referenzielle Prüfungen anhand von Referenzdaten sowie Quarantäne für Datensätze, die fehlschlagen.
- Zwischen Silber und Gold: Die Gates umfassen Geschäftsregelprüfungen, Abgleich von Gesamtzahlen mit Quellsystemen, Frischeziele und Tests zu metrischen Definitionen.
- Auf Gold: Die Überwachung umfasst Volumenrückgänge, ungewöhnliche Werte und Schemaänderungen, die Dashboards, Modelle oder KI-Anwendungen nachgelagert beschieden würden.
Abstammung, Zugang und Eigentum
Da jeder Datensatz eine klar definierte Schicht einnimmt, verfolgt die Datenlinie eine verdächtige Gold-Metrik durch Silver-Logik zurück zum störenden Bronze-Quelldatensatz und komprimiert die Ursachenanalyse. Zugriffskontrollen verschärfen sich selbstverständlich im Upstream. Bronze enthält häufig personenbezogene Daten und Rohdaten, die auf Kerningenieure beschränkt sind, während maskierte Goldtabellen dem Unternehmen weitgehend zugänglich sind. Die Zuweisung klarer Eigentümerschaft der Ebenen setzt die operative Datengovernance durch und verwandelt gut dokumentierte Goldtabellen in wiederverwendbare Datenprodukte mit definierter Semantik und Servicelevels über eine offene, vernetzte Datengrundlage.
Kompromisse und Alternativen der Medallion-Architektur
Architekten müssen die folgenden Kosten und Kompromisse berücksichtigen:
- Jede Schicht speichert eine weitere Version der Daten, sodass mehr Kopien und mehr Speicherplatz vorhanden sind; die vollständige Bronze-Historie summiert sich bei Quellen mit großem Volumen
- Jeder Sprung erhöht Rechenzeit und Latenz, sodass ein reines Batch-Design für operative Anwendungsfälle zu langsam sein kann
- Schichten können driften, wenn Teams Bronze abfragen, als wäre es sauber, oder Geschäftslogik zu Silber stapeln, bis daraus eine undokumentierte, fette Schicht wird
- Pipelines, die gleichzeitig von mehreren Schichten lesen, verschränken die Schichten, was die Herkunft schwer nachvollziehbar macht und Änderungen riskant macht
Wann Ebenen hinzugefügt oder entfernt werden sollten
Drei Schichten sind eine Konvention, keine Regel. Kleinere Plattformen verschmelzen manchmal Silber und Gold oder lassen eine persistente Bronzeschicht zugunsten von Quellen weg, die kostengünstig neu extrahiert werden können. Größere fügen Schichten hinzu, wie etwa eine Landezone vor Bronze für Dateien, die noch nicht registriert wurden, oder eine vierte "Platin"-Schicht, die manche Praktiker für operationelle Analysen mit niedriger Latenz und hochwertige Datenprodukte vorschlagen. Der Test ist in jedem Fall derselbe. Jede Schicht sollte einen eigenen Zweck, einen eigenen Eigentümer und eine Qualitätsgarantie haben.
Medallionsebenen in einem Datennetz
In einem Datennetz kann jede Geschäftsdomäne eigene Medaillon-Schichten ausführen und ihre Goldtabellen als Datenprodukte veröffentlichen. Eine konsumierende Domäne kann dann den Goldoutput einer anderen Domäne als eigene Bronze-Eingabe behandeln, anstatt die Rohquellen erneut zu kopieren. Dieser föderierte Ansatz skaliert teamübergreifend, erfordert jedoch gemeinsame Standards für Formate, Qualitätskennzahlen und Namensgebung, um Domänenabweichungen zu verhindern.
Medallion-Schichten auf einer offenen, verbundenen Datenbasis
Die Medallion-Architektur verschafft jedem Datensatz einen klaren Ort und einen klaren Zweck. Bronze bewahrt die rohe Geschichte. Silber verwandelt sie in saubere, konforme Details. Und Gold liefert geschäftsreife Daten für Analytics und KI. Jede Schicht hat einen Eigentümer, eine Qualitätsgarantie und Kontrollen bei jedem Sprung. Das Muster gilt gleichermaßen für ein Seehaus, ein klassisches Lagerhaus oder ein Hybrid. Teams sollten die Anzahl der Schichten an ihre Bedürfnisse anpassen, anstatt drei als Regel zu betrachten.
Das Muster in die Praxis umzusetzen erfordert eine Plattform, die die Schichten verwaltet, offen und verbunden hält. Das bedeutet, mit Open-Table-Formaten wie Apache Iceberg und Delta Lake zu arbeiten, Lakehouse- und Enterprise-Data-Warehouse-Workloads nebeneinanderzusetzen und Domains vertrauenswürdige Datenprodukte teilen zu lassen, ohne Daten in einen weiteren Store zu kopieren.
Ebenen schaffen nur dann Vertrauen, wenn die darunterliegende Plattform sie regiert, offen und verbunden hält. Erfahren Sie, wie die Teradata Autonomous Knowledge Platform Daten, Analysen und KI auf vertrauenswürdigen Unternehmensdaten zusammenbringt.
Häufig gestellte Fragen
Was ist der Unterschied zwischen einer Medaillonarchitektur und einer Seehausarchitektur?
Was ist der Unterschied zwischen einer Medaillonarchitektur und einer Seehausarchitektur?
Ein Lakehouse ist eine Speicher- und Verarbeitungsarchitektur, die Warehouse-ähnliches Management und Transaktionen zum Data Lake-Speicher hinzufügt. Die Medallion-Architektur organisiert Daten nach Verfeinerungsstufe. Beides wird häufig zusammen verwendet, funktioniert jedoch ohne das andere.
Ist die Medaillonarchitektur noch relevant?
Ist die Medaillonarchitektur noch relevant?
Ja, als gemeinsames Vokabular und als Standardstruktur für Datenpipelines.
Wie viele Schichten benötigt eine Medaillonarchitektur?
Wie viele Schichten benötigt eine Medaillonarchitektur?
Drei ist die Konvention: Bronze, Silber und Gold. Einige Designs fügen diese zusammen oder erweitern sie, etwa die vierte "Platin"-Schicht, die manche Praktiker für Premium-Datenprodukte verwenden.
Was ist der Unterschied zwischen Medallion-Architektur und Data Vault?
Was ist der Unterschied zwischen Medallion-Architektur und Data Vault?
Die Medallion-Architektur organisiert Daten in Bronze-, Silber- und Goldebenen danach, wie verfeinert sie sind. Data Vault ist eine Modellierungsmethode zur Erfassung von Historie und Prüfbarkeit. Beides wird häufig kombiniert. Ein normalisiertes oder Datenvault-Modell liegt üblicherweise in Silber, und dimensionale Sternschemata liegen oft in Gold.
Was ist der Unterschied zwischen Medallion-Architektur und einem Data Warehouse?
Was ist der Unterschied zwischen Medallion-Architektur und einem Data Warehouse?
Ein Data Warehouse ist der Ort, an dem integrierte Daten gespeichert und modelliert werden. Eine Medaillon-Architektur ist ein Designmuster zur Verfeinerung von Daten in Etappen, sodass sie auf einem Seehaus, einem klassischen Warehouse oder einem Hybrid laufen kann. In einem Warehouse werden Bronzekarten zum Staging Area verwendet, Silber zur Integrationsschicht und Gold zur Präsentationsschicht und zu Data Marts.