Was ist OpenMetadata? Die Open-Source-Metadatenplattform erklärt

OpenMetadata ist eine quelloffene Plattform, um Daten zu katalogisieren, zu entdecken und zu steuern. Sie sammelt Metadaten aus Ihrem gesamten Datenstack in einem einzigen Graphen, sodass Teams Datenbestände finden, ihre Definitionen lesen, ihre verantwortlichen Personen sehen und nachvollziehen können, wie sie zusammenhängen. Veröffentlicht ist sie unter der freizügigen Lizenz Apache 2.0, was bedeutet, dass die Software selbst kostenlos heruntergeladen und selbst betrieben werden kann.

Das Projekt wurde 2021 von einem Team quelloffen gestellt, das bei Uber Metadatensysteme gebaut hatte (intern als uMetadata und Databook bekannt). Heute ist es eines der am weitesten verbreiteten quelloffenen Projekte für den Datenkatalog, mit einer aktiven Gemeinschaft und über 120 Konnektoren zu Warehouses, Datenbanken, Dashboards und Pipelines.

Was ist OpenMetadata?

OpenMetadata versteht man am besten als den zentralen Ort, an dem die Metadaten über Ihre Daten liegen. Statt Definitionen, Verantwortung und Lineage über Tabellenblätter, Wiki-Seiten und einzelne Werkzeuge zu verstreuen, zieht OpenMetadata sie in einen durchsuchbaren Graphen, den technische Anwender wie Fachbereiche durchstöbern können.

Die Plattform steht in derselben Kategorie wie kommerzielle Datenkataloge, wählt aber einen quelloffenen, API-first ausgerichteten Weg. Jede Metadaten-Entität (eine Tabelle, eine Spalte, ein Dashboard, eine Pipeline, eine verantwortliche Person) ist durch ein veröffentlichtes JSON-Schema definiert, und alles, was die Nutzeroberfläche tut, steht auch über die API zur Verfügung. Dieser Entwurf macht die Plattform erweiterbar: Teams können eigene Eigenschaften ergänzen, neue Entitätstypen modellieren und Operationen auf Metadaten in ihre eigenen Systeme einbauen.

Die Plattform deckt die Kernfunktionen ab, die man von einem modernen Katalog erwartet: Suche und Discovery, ein Business Glossary, Klassifizierung und Tagging, Lineage auf Spaltenebene, Tests der Datenqualität sowie Funktionen für die Zusammenarbeit wie Verantwortung, Beschreibungen und Ankündigungen.

Architektur: Wie OpenMetadata arbeitet

OpenMetadata läuft auf einer vergleichsweise kompakten Architektur mit wenigen beweglichen Teilen. Vier Bausteine erledigen die Arbeit:

• Metadatenserver (API). Ein Backend auf Java-Basis, das Metadaten über eine REST API speichert und ausliefert, deren Schema zuerst kommt. Das ist das Herz des Systems.
• Ingestion-Framework. Ein Framework in Python, das Konnektoren nach Zeitplan ausführt, um Metadaten aus den Quellsystemen zu ziehen. Die über 120 Konnektoren decken Warehouses, Datenbanken, BI-Werkzeuge, Pipelines und Werkzeuge für Datenqualität ab.
• Oberfläche. Eine Webanwendung in JavaScript und TypeScript für Suche, Navigation, Lineage-Ansichten und Zusammenarbeit.
• Speicherschicht. Eine relationale Datenbank (MySQL oder PostgreSQL) hält die Metadaten, und ein Suchindex (Elasticsearch oder OpenSearch) treibt die schnelle Discovery. Bemerkenswert ist, dass OpenMetadata eine relationale Datenbank verwendet und keine eigene Graphdatenbank.

Die Metadaten fließen in eine Richtung: Konnektoren holen Metadaten aus Ihren Quellen, das Ingestion-Framework normalisiert sie gegen die veröffentlichten Schemata, der Server speichert sie, und Oberfläche wie API geben sie an Anwender und nachgelagerte Werkzeuge zurück.

Wichtige Funktionen

OpenMetadata deckt das volle Bündel an Fähigkeiten ab, das ein Datenteam von einem Katalog erwartet:

• Vereinheitlichter Metadatengraph. Technische, betriebliche, qualitätsbezogene, auf Lineage und auf Governance bezogene Metadaten jedes Bestands liegen beieinander, sodass eine einzige Ansicht eine Tabelle mit ihrer verantwortlichen Person, ihren Tests, ihren vorgelagerten Pipelines und ihren Glossarbegriffen verbindet.
• Suche und Discovery. Anwender suchen über Tabellen, Spalten, Dashboards und Pipelines hinweg, lesen Beschreibungen und erkennen verantwortliche Personen. Das ist die Schicht der Data Discovery.
• Lineage auf Spaltenebene. Eine automatisierte Data Lineage verfolgt, wie Daten von der Quelle bis zum Bericht fließen, auch auf Spaltenebene, was bei Wirkungsanalyse und Fehlersuche hilft.
• Business Glossary und Klassifizierung. Ein gemeinsames Business Glossary sowie Tags und Klassifizierungen (auch für sensible Daten) verbinden technische Bestände mit fachlicher Bedeutung.
• Datenqualität und Profiling. Eingebaute Tests und Profiler verfolgen Aktualität, Anteile leerer Werte und weitere Qualitätssignale über die Zeit.
• Zusammenarbeit und Governance. Verantwortung, Beschreibungen, Ankündigungen und Aktivitätsströme stützen Abläufe der Data Governance unmittelbar in der Plattform.

Weil OpenMetadata auf einem erweiterbaren Schema aufsetzt, können Teams außerdem eigene Entitäten und Eigenschaften modellieren, die der Standardkatalog nicht mitbringt. Das ist ein Teil dessen, was die Plattform für Active Metadata geeignet macht: Metadaten werden nicht nur gespeichert, sie können über die API Automatisierung antreiben.

Was „Open Source“ hier heißt

Der Kern von OpenMetadata ist echt quelloffen unter Apache 2.0. Sie können ihn herunterladen, betreiben, verändern und erweitern, ohne Lizenzkosten. Für entwicklungsgetriebene Teams, die volle Kontrolle und ein Integrationsmodell mit Code an erster Stelle wollen, passt das gut.

Der Unterschied, den man verstehen sollte: Kostenlose Software ist nicht dasselbe wie kostenloser Betrieb. OpenMetadata produktiv zu betreiben heißt, den Server, die Ingestion-Läufe, die relationale Datenbank und den Suchindex aufzusetzen und zu pflegen und dann über die Zeit Aktualisierungen, Sicherungen, Sicherheit und Verfügbarkeit zu verantworten. Diese Betriebsarbeit ist ein Aufwand in der Entwicklung, kein Lizenzposten.

Für Teams, die OpenMetadata ohne diese Betriebslast wollen, bietet Collate, das von den Urhebern des Projekts gegründete Unternehmen, einen verwalteten Cloud-Dienst an. Die Abwägungen zwischen Eigenbetrieb und verwalteten Diensten und was beides tatsächlich kostet, behandelt der Begleitartikel zu OpenMetadata Preisen im Einzelnen.

Wer OpenMetadata einsetzt

OpenMetadata passt am besten in bestimmte Lagen:

• Entwicklungsgetriebene Datenteams, die einen offenen, API-first ausgerichteten Katalog wollen, den sie erweitern und in die eigene Plattform einbetten können.
• Organisationen, die aus strategischen oder Kostengründen auf Open Source setzen und die Kapazität im Plattform-Engineering haben, ihn zu betreiben.
• Teams, die breite technische Lineage und Metadatenabdeckung über viele Quellen brauchen und die über 120 Konnektoren schätzen.

Weniger gut geeignet ist er dort, wo das Hauptpublikum aus den Fachbereichen besteht, die ohne Unterstützung aus der Entwicklung ein rundes, reibungsarmes Erlebnis brauchen, oder wo der Organisation das Plattformteam für einen selbst betriebenen Einsatz fehlt. In diesen Fällen bringt ein verwalteter, auf die Fachbereiche ausgerichteter Katalog die Einführung meist schneller voran.

OpenMetadata und ein gesteuerter, verwalteter Katalog

OpenMetadata und Dawiso lösen dasselbe Problem aus unterschiedlichen Winkeln. OpenMetadata gibt Entwicklungsteams einen offenen, selbst betriebenen Werkzeugkasten, den sie selbst zusammensetzen und betreiben. Dawiso ist eine verwaltete, fachlich ausgerichtete Plattform, die darauf ausgelegt ist, dass nicht technische Anwender sie schnell annehmen, ohne ein Plattformteam, das sie am Laufen hält.

Die praktischen Unterschiede zeigen sich an drei Stellen. Erstens die Verantwortung für den Betrieb: Bei OpenMetadata betreibt Ihr Team die Infrastruktur, bei Dawiso wird die Plattform als Dienst geliefert. Zweitens das Publikum: OpenMetadata ist API-first und auf Entwicklung ausgerichtet, während Dawiso das Business Glossary und einen auf die Fachbereiche zugeschnittenen Ablauf in den Vordergrund stellt. Drittens die KI-Reife: Dawiso stellt KI-Agenten gesteuerten Kontext über das Model Context Protocol (MCP) zur Verfügung, sodass verlässliche Definitionen und Lineage für jeden MCP-fähigen Assistenten erreichbar werden.

Keiner der beiden Wege ist allgemein besser. Die richtige Wahl hängt davon ab, ob Sie einen quelloffenen Werkzeugkasten besitzen und erweitern wollen oder einen gesteuerten Katalog einführen, den fachliche Teams ohne Zusatzaufwand in der Entwicklung nutzen. Eine Gegenüberstellung steht im Vergleich von Dawiso und OpenMetadata.

Fazit

OpenMetadata ist eine leistungsfähige, quelloffene Plattform für Metadatenmanagement mit klarer Architektur, breiter Konnektorabdeckung und einem API-first-Entwurf, den Entwicklungsteams erweitern können. Ihr Kern ist unter Apache 2.0 kostenlos, was auf dem Papier reizvoll ist, der Produktivbetrieb bringt aber echten Betriebsaufwand mit sich. Wägen Sie vor einer Festlegung den Entwicklungsaufwand des Eigenbetriebs gegen verwaltete Alternativen ab und lesen Sie den Begleitartikel zu OpenMetadata Preisen, um zu verstehen, was „kostenlos“ in den Gesamtkosten tatsächlich bedeutet.