Was ist das Management der Datenqualität?

Das Management der Datenqualität (DQM) ist die systematische Praxis, die Qualität von Daten zu messen, zu überwachen und zu verbessern, und zwar über ihren gesamten Lebenszyklus. Es umfasst die Prozesse, Richtlinien, Rollen und Technologien, die sicherstellen, dass Daten für ihren vorgesehenen Zweck taugen, ob dieser Zweck das regulatorische Berichtswesen, operative Entscheidungen, die Auswertung oder das Training von KI-Modellen ist.

DQM ist etwas anderes als die Datenqualität selbst. Die Datenqualität beschreibt den Zustand der Daten (sind sie genau? vollständig? aktuell?). Das Management der Datenqualität beschreibt die Fähigkeit der Organisation, diesen Zustand fortlaufend sicherzustellen und zu verbessern. Das ist der Unterschied zwischen einem Blick auf den Kontostand und einer Praxis der Finanzführung: das eine ist eine Messung, das andere eine Disziplin.

Warum das Management der Datenqualität zählt

Jede Organisation hat Probleme mit der Datenqualität. Der Unterschied zwischen Organisationen, die sie im Griff haben, und denen, die es nicht tun, ist nicht das Ausbleiben von Vorfällen, sondern die Geschwindigkeit der Erkennung und die Höhe der Folgekosten.

Was schlechte Datenqualität kostet

Schlechte Datenqualität ist auf oft unsichtbare Weise teuer. Im 2024 State of Analytics Engineering report von dbt Labs, für den 456 Fachleute und Führungskräfte aus dem Datenbereich antworteten, nennen über 57 % der Befragten schlechte Datenqualität als ein vorherrschendes Problem, nach 41 % im Jahr 2022. Für Datenteams heißt das: Auffälligkeiten untersuchen, defekte Pipelines reparieren, widersprüchliche Zahlen abgleichen und erklären, warum Dashboards nicht zusammenpassen. Das ist kein Problem der Technik. Es ist ein Problem der Organisation, und genau das geht DQM an.

Die Kosten summieren sich über drei Dimensionen:

• Kosten im Betrieb: Stunden, die für das Prüfen, Bereinigen und Abgleichen von Hand draufgehen. Teams ohne DQM verbrennen Zyklen mit immer gleicher Feuerwehrarbeit, statt Wert zu schaffen.
• Kosten der Entscheidung: Entscheidungen auf ungenauen oder unvollständigen Daten führen zu falschen Schlüssen. Eine Umsatzprognose auf veralteten Daten aus der Pipeline liefert nicht nur eine falsche Zahl, sie verteilt Budget, Personal und strategische Aufmerksamkeit falsch.
• Kosten der Compliance: Regulatorische Rahmenwerke verlangen zunehmend nachweisbare Kontrollen der Datenqualität. Die DSGVO verlangt, dass personenbezogene Daten sachlich richtig sind und der Verantwortliche die Einhaltung nachweisen kann (Art. 5 Abs. 1 lit. d und Abs. 2), BCBS 239 setzt Grundsätze zu Genauigkeit und Vollständigkeit für die Risikodaten von Banken, und SOX verlangt interne Kontrollen über die Finanzberichterstattung. Organisationen ohne DQM sehen sich Prüfungsfeststellungen, Bußgeldern und Behebungsprojekten gegenüber, die um Größenordnungen teurer sind als Vorsorge.

DQM als Voraussetzung für KI

Der Aufstieg der Agentic AI macht DQM dringlicher. KI-Systeme, besonders eigenständige Agenten, die entscheiden und handeln, verstärken Probleme der Datenqualität mit Maschinengeschwindigkeit. Eine Fachkraft in der Auswertung merkt vielleicht, dass ein Datenbestand veraltet aussieht, und geht der Sache nach. Ein Agent nutzt die veralteten Daten selbstsicher und trägt den Fehler weiter. DQM liefert die Signale zur Qualität, also Werte zur Datenfrische, Kennzahlen zur Vollständigkeit und Anomalie-Markierungen, die solche Systeme für vertrauenswürdige Entscheidungen brauchen.

Dimensionen der Datenqualität

Die Datenqualität wird über vereinheitlichte Dimensionen gemessen. Verschiedene Rahmenwerke nutzen leicht abweichende Begriffe, doch sechs Dimensionen sind als Kern des DQM weit verbreitet: die sechs, die DAMA UK festgelegt hat und die das Government Data Quality Framework der britischen Regierung nutzt. ISO/IEC 25012 beschreibt ein breiteres Modell mit 15 Merkmalen.

Eine ausführliche Behandlung jeder Dimension mit Beispielen und Messwegen finden Sie in unserem Leitfaden zur Datenqualität. Für DQM zählt vor allem, dass diese Dimensionen keine abstrakten Kategorien sind, sondern messbare Eigenschaften mit konkreten Kennzahlen, Schwellen und Regeln für die Überwachung, die das Rückgrat jedes DQM-Programms bilden.

Das Rahmenwerk für DQM

Ein Rahmenwerk für das Management der Datenqualität legt den Lebenszyklus der Tätigkeiten rund um Qualität fest, von der ersten Bestandsaufnahme über die laufende Überwachung bis zur Verbesserung. Die Umsetzungen unterscheiden sich, doch die meisten reifen DQM-Programme folgen einem Kreislauf aus fünf Stufen.

Festlegen

Bevor Sie Qualität steuern können, müssen Sie festlegen, was „Qualität“ für jede Datendomäne bedeutet. Zu dieser Stufe gehört:

• Kritische Datenelemente (CDEs) benennen: Nicht alle Daten verdienen dasselbe Maß an Steuerung. CDEs sind die Felder, die bei Fehlern spürbaren geschäftlichen Schaden anrichten: Umsatzzahlen, Kundenkennungen, Felder für das regulatorische Berichtswesen, Merkmale für das Training von KI.
• Regeln und Schwellen für die Qualität setzen: Legen Sie für jedes CDE messbare Erwartungen fest. „Das Feld email muss in mindestens 99,5 % der Datensätze dem Format RFC 5322 entsprechen.“ „Das Feld order_total darf nicht NULL sein und muss der Summe der Positionen entsprechen.“ Aus diesen Regeln werden die automatisierten Prüfungen, die die Überwachung ausführt.
• Verantwortung zuweisen: Jede Regel braucht eine verantwortliche Person, üblicherweise einen Data Steward, die für die Ergebnisse der Überwachung geradesteht und die Behebung anstößt, wenn etwas auffällt.

Messen

Beim Messen wird DQM operativ. Automatisiertes Profiling und das Ausführen der Regeln erzeugen Qualitätswerte für jeden Datenbestand, jedes Feld und jede Regel. Diese Messungen müssen sein:

• Automatisiert: Prüfungen von Hand skalieren nicht. Werkzeuge für DQM (dbt tests, Great Expectations, Soda, die plattformeigenen Fähigkeiten in Databricks und Snowflake) führen die Regeln als Teil der Pipeline-Läufe aus.
• Fortlaufend: Momentaufnahmen übersehen vorübergehende Probleme. Die Überwachung sollte bei jedem Laden von Daten laufen, nicht vierteljährlich.
• Vergleichbar: Qualitätswerte sollten über Domänen hinweg dieselbe Skala nutzen, damit Gremien für die Governance und die Leitung die Qualität in der Organisation vergleichen können.

Überwachen

Überwachung geht über das Messen hinaus und ergänzt Alarme, Verlaufsbeobachtung und das Erkennen von Auffälligkeiten. Das Ziel ist, Probleme mit der Qualität zu erkennen, bevor sie nachgelagerte Abnehmer treffen.

Wirksame Überwachung umfasst: Alarme an Schwellen (der Qualitätswert fällt unter ein festgelegtes Minimum), das Erkennen von Trends (langsamer Verfall, der keine Schwelle auslöst), das Erkennen von Auffälligkeiten (unerwartete Mengenänderungen, verschobene Verteilungen, neue Werte in Kategoriefeldern) und das Verfolgen von SLAs (Data Contracts legen SLAs für die Qualität fest, die Überwachung prüft die Compliance).

Beheben

Wenn Probleme mit der Qualität auffallen, bietet das Rahmenwerk für DQM einen geordneten Ablauf zur Behebung:

• Ursachenanalyse: Liegt es am Quellsystem, an der Pipeline oder an der Regel selbst? Viele „Probleme mit der Qualität“ erweisen sich als falsch eingestellte Regel oder als undokumentierte Änderung der fachlichen Logik.
• Auswirkungsanalyse: Welche nachgelagerten Abnehmer, Berichte und Modelle sind betroffen? Data Lineage macht das nachvollziehbar statt zur Vermutung.
• Beheben und prüfen: Die Ursache beseitigen, die Prüfungen erneut laufen lassen und die Behebung bestätigen. Den Vorfall für später dokumentieren.
• Vorbeugen: Regeln, Data Contracts oder Pipeline-Tests so anpassen, dass sich der Fall nicht wiederholt.

Verbessern

DQM ist eine Praxis der fortlaufenden Verbesserung. Die Stufe des Verbesserns nimmt die Gesamtsicht ein: Welche Datendomänen haben die meisten wiederkehrenden Probleme? Welche Regeln sind zu streng (viele Fehlalarme) oder zu nachsichtig (echte Probleme entgehen ihnen)? Wo sollte die Organisation in Werkzeuge für die Datenqualität, in bessere Abläufe oder in mehr Kapazität im Stewardship investieren?

Diese Stufe mündet oft in die Sitzungen des Gremiums für die Governance, in denen Trends der Qualität die Verteilung von Mitteln und die Reihenfolge der Vorhaben bestimmen.

DQM in der Praxis

Die häufigste Art zu scheitern besteht darin, die Qualität für alles auf einmal steuern zu wollen. Organisationen, die mit DQM Erfolg haben, gehen pragmatisch vor.

Mit kritischen Datenelementen beginnen

Nicht jedes Feld in jeder Tabelle braucht aktive Steuerung. Beginnen Sie mit den Daten, auf die es am meisten ankommt: Felder für das regulatorische Berichtswesen, Finanzdaten, Stammdaten zu Kunden und Daten für Modelle aus KI und maschinellem Lernen. Das sind die Domänen, in denen Qualitätsfehler am teuersten und am sichtbarsten sind.

Ein praktischer Anfang: Nehmen Sie die zehn größten Vorfälle mit der Datenqualität aus dem letzten Quartal. Welche Daten waren beteiligt? Welche Felder fielen aus? Wo lag die Ursache? Dieser Blick zurück zeigt Ihnen die CDEs, die DQM zuerst brauchen, und liefert zugleich eine greifbare Begründung für das Programm.

Qualität in die Pipelines einbauen

Prüfungen, die außerhalb der Pipeline laufen, sind Prüfungen, die übersprungen werden. Die verlässlichsten Umsetzungen bauen die Regeln unmittelbar in die Orchestrierung der Pipeline ein: dbt tests nach jeder Transformation, Suiten aus Great Expectations, die Daten prüfen, bevor sie im Warehouse ankommen, Expectations in Databricks, die Qualität auf der Ebene des Lakehouse durchsetzen.

Das Muster lautet: erst prüfen, dann freigeben. Daten, die die Prüfungen nicht bestehen, gelangen nicht in die Produktivtabellen. Das ist dasselbe Prinzip wie CI/CD in der Software: Wenn die Tests scheitern, gibt es keine Auslieferung.

Qualität sichtbar machen

Kennzahlen, die in einem technischen Werkzeug zur Überwachung leben, sind für das Geschäft unsichtbar. DQM gelingt, wenn Qualitätswerte direkt neben dem Datenbestand sichtbar sind, in einem Katalog oder Observability-Werkzeug, das Prüfergebnisse übernimmt, dort wo Abnehmer abwägen, ob sie ihn nutzen. Wenn jemand in der Auswertung einen Datenbestand zum Umsatz sucht und zum Beispiel einen Qualitätswert von 94 % bei einer Datenfrische von 2 Stunden sieht, kann diese Person begründet entscheiden. Ist die Qualität unsichtbar, wird entweder blind vertraut oder gar nicht.

Dashboards zur Qualität für Gremien der Governance und für die Leitung schließen den Kreis der Verantwortung: Verantwortliche der Domänen sehen, wie ihre Daten im Vergleich abschneiden, Stewards sehen, welche Regeln am häufigsten fehlschlagen, und die Leitung sieht die Lage der Qualität in der gesamten Organisation.

Qualität mit geschäftlichen Ergebnissen verbinden

DQM-Programme, die nur technische Kennzahlen melden (Nullquoten, Zahl der Dubletten, Anteil bestandener Regeln), tun sich schwer, den Rückhalt der Leitung zu halten. Die Programme, die gedeihen, übersetzen Kennzahlen zur Qualität in geschäftliche Wirkung, mit Aussagen wie diesen (Beispiele zur Veranschaulichung, keine Richtwerte):

• „Bessere Datenqualität hat unseren monatlichen Abschluss um 1,5 Tage verkürzt“, weil die Finanzabteilung aufhörte, Zahlen von Hand abzugleichen.
• „Die Dublettenquote bei Kunden fiel von 4,2 % auf 0,3 %“, was unmittelbar auf die Genauigkeit im CRM und die Wirksamkeit der Marketingausgaben durchschlägt.
• „Null Feststellungen zur Datenqualität nach BCBS 239 in der letzten aufsichtlichen Prüfung“, was Kosten für regulatorische Behebung vermeidet.

Solche Übersetzungen verlangen Zusammenarbeit zwischen Data Stewards, den Verantwortlichen für die Governance und den Beteiligten aus dem Geschäft. Die Kennzahlen sind der Beleg; die geschäftliche Wirkung ist die Geschichte.

Wie Dawiso das Management der Datenqualität unterstützt

Dawiso versteht DQM als Schicht für Anbindung und Sichtbarkeit statt als eigenständige Qualitäts-Engine. Darin spiegelt sich die Trennlinie der Branche zwischen zwei Auffassungen vom Katalog: offene Anbindung der Metadaten zur Qualität (Signale dort einsammeln, wo sie ohnehin entstehen) gegenüber eingebauten Qualitäts-Engines (den gesamten Qualitäts-Stack im Katalog selbst besitzen). Dawiso folgt dem offenen Weg, aus gutem Grund: Während Databricks, Snowflake und dbt stark in plattformeigene Fähigkeiten zur Qualität investieren, erzeugt es Überschneidung und Komplexität statt Wert, dieselbe Ausführung im Katalog zu verdoppeln. Einen ausführlichen Vergleich beider Wege und eine Einordnung, wohin die Branche geht, finden Sie in unserem Leitfaden zur Datenqualität: Wie Datenkataloge mit Qualität umgehen.

Im Data Catalog hält Dawiso Dimensionen, Prüfungen und SLAs der Qualität an Datenprodukten fest und nennt das Werkzeug, das jede Prüfung ausführt (gängige Beispiele sind Soda, Great Expectations, Monte Carlo und dbt), neben dem fachlichen Zusammenhang und der Verantwortung. Damit haben Abnehmer eine einzige Sicht darauf, was die Daten bedeuten und an welchem Anspruch an die Qualität sie gemessen werden.

Data Lineage trägt die Auswirkungsanalyse bei Vorfällen: Fällt in einem Quellsystem ein Problem auf, können Stewards sofort verfolgen, welche nachgelagerten Datenbestände, Berichte und Abnehmer betroffen sind, bevor die Wirkung sich ausbreitet.

Das Business Glossary verbindet Regeln für die Qualität mit der fachlichen Bedeutung. Wenn eine Regel prüft, dass revenue nicht negativ ist, liefert das Glossar die maßgebliche Definition dessen, was „Umsatz“ in diesem Zusammenhang heißt, und sorgt dafür, dass Regeln die tatsächliche fachliche Logik abbilden und nicht bloß technische Annahmen.

Für die Vorarbeit entwerfen die KI-Funktionen von Dawiso Beschreibungen für nicht beschriebene Datenbestände, die Stewards anschließend prüfen, und das AI Dictionary prüft, ob Begriffe über Systeme hinweg einheitlich verwendet werden. Das beschleunigt die Stufe des Festlegens für Organisationen, die ihre Praxis der Qualität von Grund auf aufbauen.

Fazit

Das Management der Datenqualität macht aus der Datenqualität statt eines reaktiven Problems eine vorausschauende Fähigkeit der Organisation. Das Rahmenwerk ist geradlinig: Regeln für kritische Daten festlegen, automatisiert messen, fortlaufend überwachen, geordnet beheben und schrittweise verbessern. Die Herausforderung ist nicht das Rahmenwerk, sondern die Disziplin der Organisation, es durchzuhalten.

Der wichtigste Grundsatz: eng anfangen und in die Tiefe gehen. Nehmen Sie eine kleine Auswahl kritischer Datenelemente, etwa die 20, die 80 % Ihres Ärgers mit der Qualität verursachen, bauen Sie darum herum ein tragfähiges DQM, belegen Sie den Nutzen und weiten Sie aus. Eine Organisation mit ausgezeichnetem Management der Qualität für ihre wichtigsten 20 CDEs steht weit besser da als eine mit oberflächlicher Überwachung über 2.000 Felder. DQM ist eine Praxis, kein Projekt: Es wird durch Wiederholung besser, nicht durch Umfang.

Quellen

• dbt Labs, The 2024 State of Analytics Engineering report (456 Befragte; über 57 % nennen schlechte Datenqualität als vorherrschendes Problem, nach 41 % im Jahr 2022).
• GOV.UK, The Government Data Quality Framework (die sechs Dimensionen der Datenqualität nach DAMA UK).
• ISO, ISO/IEC 25012:2008, Data quality model (15 Merkmale der Datenqualität).
• GDPR Article 5, Principles relating to processing of personal data (Art. 5 Abs. 1 lit. d DSGVO, Richtigkeit; Art. 5 Abs. 2 DSGVO, Rechenschaftspflicht).
• Basel Committee on Banking Supervision, Principles for effective risk data aggregation and risk reporting (BCBS 239) (Januar 2013).
• Databricks-Dokumentation, Manage data quality with pipeline expectations.
• Snowflake-Dokumentation, Introduction to data quality checks.
• Dawiso Help, Data product quality and SLAs.
• Dawiso Help, AI features and integrations in Dawiso.