Was ist DataOps?

DataOps ist eine agile, prozessorientierte Arbeitsweise, um Datenanalyse schneller, in höherer Qualität und verlässlicher zu entwickeln und auszuliefern. Sie überträgt Prinzipien aus DevOps, aus schlanker Fertigung und aus agiler Softwareentwicklung auf den Lebenszyklus von Data Engineering und Analyse und ersetzt die manuelle, gelegentliche Pflege von Pipelines durch automatisierte, überwachte und gemeinsam getragene Abläufe.

Geprägt hat den Begriff Lenny Liebmann 2014, breite Wirkung entfaltete er, als Datenteams merkten, dass die überkommenen Praktiken (lange Freigabezyklen, Prüfungen der Datenqualität von Hand, getrennt arbeitende Bereiche) mit den Datenmengen und Erwartungen heutiger Organisationen nicht mehr Schritt halten. DataOps ist die Antwort auf die Frage: Wie liefern wir verlässliche Datenanalyse so schnell aus, wie wir Software ausliefern?

DataOps, definiert

DataOps versteht man am besten als eine Menge von Praktiken und nicht als eine bestimmte Technik oder ein Werkzeug. Sie beantwortet drei ineinandergreifende Probleme in Datenorganisationen:

• Tempo: Datenteams arbeiten oft in langen Freigabezyklen, in denen eine Pipeline-Änderung wochenlang von Hand geprüft und getestet wird, bevor sie produktiv geht. DataOps beschleunigt das über Automatisierung, CI/CD und Self-Service.
• Qualität: Prüfungen von Hand sind langsam, uneinheitlich und skalieren nicht. DataOps verankert automatisierte Datentests in jedem Schritt der Pipeline und fängt Qualitätsrückschritte ab, bevor sie die Konsumenten erreichen.
• Zusammenarbeit: Data Engineering, Data Science, Analytics Engineering und Fachbereiche arbeiten häufig getrennt, was zu Missverständnissen, Nacharbeit und trägen Rückmeldungen führt. DataOps schafft gemeinsame Abläufe, klare Verantwortlichkeiten und Wege für Rückmeldungen.

Die Grundsätze von DataOps

Das DataOps-Manifest (2017) formuliert Grundsätze, die dem Agilen Manifest folgen und auf die Datenarbeit übertragen sind:

1. Die Konsumenten fortlaufend zufriedenstellen: Fachbereiche als Kunden mit sich wandelnden Bedürfnissen behandeln, nicht als Empfänger periodischer Datenlieferungen.
2. Funktionierende Analyse vor umfassender Dokumentation: lieber schnell belastbare, nützliche Auswertungen liefern und anhand der Rückmeldungen nachschärfen.
3. Änderungen willkommen heißen: Pipelines so bauen, dass sie sich ändern lassen. Monolithische, eng verzahnte Pipelines, die sich jeder Änderung widersetzen, sind ein Fehlmuster.
4. Durchlaufzeiten verkürzen: die Zeit von der fachlichen Frage bis zum verlässlichen Data Product messen und senken.
5. Qualität einbauen: Datenqualität ist kein nachgelagerter Schritt, sondern steckt über automatisierte Tests, Prüfungen und Überwachung in jeder Stufe der Pipeline.

Die Praktiken von DataOps

Was DataOps im Alltag ausmacht:

CI/CD für Datenpipelines

Änderungen an Pipelines durchlaufen dieselben Abläufe für kontinuierliche Integration und Auslieferung wie Software: Bei jedem Merge Request laufen automatisierte Tests, die Auslieferung ist automatisiert und wiederholbar, ein Rollback ist eingeplant. Werkzeuge wie dbt, Airflow und Prefect bringen die nötige CI/CD-Anbindung mit, was das für SQL-basierte Transformationen praktikabel macht.

Datentests

Jede Stufe der Pipeline enthält automatisierte Tests auf Datenqualität: Eindeutigkeit, Nullwerte, referenzielle Integrität, Wertebereiche und eigene fachliche Zusicherungen. Die Tests laufen bei jeder Aktualisierung, nicht nur dann, wenn jemand daran denkt. Fehler stoppen die Pipeline oder lösen Alarme aus, bevor nachgelagerte Konsumenten schlechte Daten sehen.

Orchestrierung und Überwachung

Orchestrierungswerkzeuge (Airflow, Prefect, Dagster) planen und koordinieren die Ausführung, verwalten Abhängigkeiten zwischen Aufgaben und machen den Zustand der Pipeline sichtbar. Die Überwachung verfolgt Laufzeiten, Fehlerquoten, Aktualität und auffällige Mengen, also die Betriebskennzahlen, die einem Datenteam sagen, dass etwas schiefläuft, bevor es den Fachbereichen auffällt.

Umgebungen

Wie Software brauchen Datenpipelines Umgebungen für Entwicklung, Test und Produktion. Zu DataOps gehören gleichartige Umgebungen (die Testumgebung bildet die Produktion ab), das Maskieren von Daten außerhalb der Produktion zum Schutz sensibler Inhalte und Freigabeabläufe, die Änderungen prüfen, bevor sie produktiv gehen.

DataOps und DevOps

DataOps borgt sich viel von DevOps, steht aber vor datenspezifischen Schwierigkeiten, die reines DevOps-Werkzeug nicht löst:

• Daten haben einen Zustand: Eine Software-Auslieferung lässt sich durch Zurücknehmen des Codes rückgängig machen. Datenpipelines schreiben in Datenbanken, und eine fehlerhafte Transformation zurückzunehmen heißt, Daten zu reparieren, nicht nur Code.
• Datenqualität hat viele Dimensionen: Software besteht einen Test oder nicht, und DataOps muss mit den Zwischentönen umgehen. Daten können teilweise richtig sein, also aktuell, aber unvollständig, korrekt, aber veraltet, schemakonform, aber fachlich widersprüchlich. Testverfahren müssen diese Zwischentöne abbilden.
• Konsumenten scheitern anders: Eine kaputte API gibt einen Fehler zurück. Eine kaputte Datenpipeline gibt still falsche Zahlen zurück und beeinflusst womöglich stunden- oder tagelang Entscheidungen, bevor es jemand merkt. Data Observability ist die Antwort von DataOps darauf: vorausschauende Überwachung, die Auffälligkeiten vor den Konsumenten bemerkt.

Datenqualität und Observability

Datenqualität und Data Observability stehen im Zentrum von DataOps. Ohne automatisch durchgesetzte Qualität liefert DataOps nur schneller schlechte Daten. Die wichtigsten Praktiken:

• Schematests: Zu jeder Spalte gehören Zusicherungen, also Nichtleere, Eindeutigkeit, erlaubte Werte, referenzielle Integrität. Sie laufen bei jeder Aktualisierung und stoppen die Pipeline, wenn sie verletzt werden.
• Fachliche Tests: eigene Zusicherungen, die Fachwissen festhalten, etwa „täglich aktive Nutzer können die Gesamtzahl der Nutzer nicht übersteigen“, „Umsatz kann nicht negativ sein“, „die Zahl der Bestellungen im Bericht muss dem Quellsystem auf 1 % genau entsprechen“.
• Anomalieerkennung: statistische Überwachung von Zeilenzahlen, Verteilungen und verdichteten Kennzahlen über die Zeit. Plötzliche Einbrüche im Volumen, verschobene Mittelwerte oder unerwartete Nullwerte lösen Alarme aus, bevor es nachgelagert auffällt.

DataOps und Governance

DataOps und Data Governance werden oft als Gegensatz dargestellt: Governance bringt Prozess und Prüfung, DataOps bringt Tempo. In der Praxis ergänzen sie sich, denn DataOps macht Governance skalierbar.

Ein Datenkatalog, der an die Pipelines angebunden ist, erbt Governance-Metadaten automatisch: Lineage aus dem Pipeline-Lauf, Qualitätswerte aus den Testergebnissen, Aktualität aus der letzten erfolgreichen Aktualisierung. Statt auf Dokumentation von Hand zu setzen, die mit dem Tempo von DataOps ohnehin nicht Schritt hält, füllt sich der Katalog, während die Pipelines laufen.

Der Data Catalog von Dawiso bindet sich an die Werkzeuge des modernen Data Stack (dbt, Airflow, Fivetran) an und übernimmt Metadaten zu Lineage, Qualität und Verantwortlichkeit aus der Ausführung der Pipelines. Governance wird damit zum Nebenprodukt der DataOps-Abläufe statt zu einer eigenen Handarbeit.

Fazit

DataOps ist das Erwachsenwerden des Data Engineering: Es überträgt die Sorgfalt, die Automatisierung und die Zusammenarbeit, die sich die Softwareentwicklung über Jahrzehnte erarbeitet hat, auf den Lebenszyklus der Datenpipelines. Organisationen, die so arbeiten, berichten von messbar schnellerer Lieferung, höherer Datenqualität und mehr Vertrauen aus den Fachbereichen. Die wichtigste Investition ist dabei kein Werkzeug, sondern die Haltung, Datenpipelines wie produktive Software zu behandeln: getestet, überwacht, verantwortet und fortlaufend verbessert.