Was ist eine Datenpipeline?

Eine Datenpipeline ist eine automatisierte Folge von Verarbeitungsschritten: Sie holt Daten aus einer oder mehreren Quellen, wandelt oder reichert sie an und liefert sie an ein oder mehrere Ziele, typischerweise ein Data Warehouse, einen Data Lake, eine operative Datenbank oder eine nachgelagerte Anwendung. Die Pipeline verantwortet Bewegung, Form und Zeitpunkt des Datenflusses, verlässlich und im großen Maßstab, ohne dass jemand pro Ladung oder pro Ereignis eingreifen müsste.

Datenpipelines sind das Bindegewebe moderner Dateninfrastruktur. Jedes Dashboard, jedes Machine-Learning-Modell, jeder Geschäftsbericht hängt davon ab, dass weiter oben eine oder mehrere Pipelines zuverlässig laufen. Fällt eine Pipeline still aus oder liefert sie falsche Daten, bleibt der Schaden selten bei einem Bericht: Er wandert durch jedes System und jede Entscheidung, die auf diesen Daten aufsetzt.

Datenpipeline, definiert

Das Bild der Pipeline trifft den Kern: Daten fließen durch eine Folge von Stufen, und jede Stufe verarbeitet, was die vorige ausgegeben hat, und reicht ihr Ergebnis weiter. Im Minimum hat eine Pipeline eine Quelle (woher die Daten kommen), eine Reihe von Verarbeitungsschritten (was unterwegs mit ihnen geschieht) und ein Ziel (wo die verarbeiteten Daten landen).

In der Praxis sind Datenpipelines im Unternehmen weit vielschichtiger: mehrere Quellen mit unterschiedlichen Schemata und Aktualisierungsrhythmen, mehrere Transformationsschritte mit Verzweigungen, mehrere Ziele für verschiedene Konsumenten, Fehlerbehandlung und Wiederholungslogik, Zeitplanung und Abhängigkeitssteuerung, Qualitätsprüfungen auf jeder Stufe und eine Überwachung, die Probleme bemerkt, bevor die Konsumenten es tun.

Die Bausteine

Eine Datenpipeline im Produktivbetrieb besteht meist aus:

• Connectors und Extraktoren: Bausteine, die mit den Quellsystemen sprechen, also CDC aus Datenbanken (Change Data Capture), API-Abrufe, Dateiwächter, Konsumenten von Event-Streams. Werkzeuge wie Fivetran, Airbyte und Kafka-Konnektoren decken diese Schicht ab.
• Ingestion und Landezone: der Rohbereich, in dem extrahierte Daten vor der Transformation liegen. In ELT-Architekturen ist das üblicherweise ein Rohschema im Data Warehouse.
• Transformationsschicht: Transformationen in SQL oder Code, die Daten bereinigen, umformen, verdichten und anreichern. Verbreitet sind dbt, Spark und Snowpark.
• Qualitätsprüfungen: automatische Tests, die Daten auf jeder Stufe prüfen. Fehler können melden, blockieren oder Daten in Quarantäne schicken, bevor sie Konsumenten erreichen.
• Ziel- und Bereitstellungsschicht: das Ziel selbst, also eine Mart-Tabelle, ein Feature Store, eine Berichtsschicht, eine operative Datenbank oder ein Vektorindex.
• Metadaten und Lineage: Aufzeichnungen darüber, was gelaufen ist, wann, mit welcher Eingabe und mit welchem Ergebnis. Das ist der Audit-Trail, der eine Pipeline vertrauenswürdig macht.

Arten von Datenpipelines

Pipelines unterscheiden sich darin, wie und wann sie Daten bewegen:

Batch-Pipelines

Sie verarbeiten Daten in abgegrenzten Mengen nach Zeitplan, stündlich, täglich, wöchentlich. Sie sind leicht zu durchschauen, leicht zu testen und passen zu Auswertungen, bei denen eine kleine Verzögerung nichts ausmacht. Die meisten klassischen ETL- und ELT-Abläufe sind Batch-Pipelines.

Streaming-Pipelines

Sie verarbeiten Daten fortlaufend, sobald Ereignisse eintreffen, mit Latenzen im Millisekunden- bis Sekundenbereich. Gebaut werden sie auf Plattformen wie Apache Kafka, Apache Flink oder Cloud-Diensten (Kinesis, Pub/Sub). Nötig sind sie dort, wo Aktualität zählt: Betrugserkennung, Personalisierung in Echtzeit, operative Dashboards.

Pipelines für Change Data Capture (CDC)

Sie verfolgen Änderungen in operativen Datenbanken auf Zeilenebene, also Einfügungen, Aktualisierungen und Löschungen, und geben sie nahezu in Echtzeit weiter. CDC hält operative Systeme und analytische Datenspeicher synchron, ohne ganze Tabellen zu lesen.

Reverse-ETL-Pipelines

Sie bewegen Daten in die Gegenrichtung: aus dem Data Warehouse zurück in operative Werkzeuge wie CRM, Marketingplattformen oder Kundenbetreuung. So landen Ergebnisse der Analyse dort, wo die Fachbereiche tatsächlich arbeiten.

Orchestrierung

Orchestrierung ist der Mechanismus, der die Stufen einer Pipeline plant, in die richtige Reihenfolge bringt und ihre Ausführung steuert. Ein Orchestrator (Airflow, Prefect, Dagster oder Cloud-Dienste wie AWS Step Functions) beschreibt die Aufgaben als gerichteten azyklischen Graphen (DAG), verwaltet die Abhängigkeiten dazwischen, fängt Fehler mit Wiederholungslogik ab und macht die Laufhistorie sichtbar.

Ohne Orchestrierung sind Pipelines Cronjobs: geplante Skripte, die für sich laufen, ohne von Abhängigkeiten zu wissen, ohne abgestimmte Fehlerbehandlung und ohne Einblick. Ein fehlgeschlagener Lauf weiter oben lässt die nachgelagerten Läufe munter auf veralteten Daten weiterarbeiten, und niemand erfährt, dass die Abhängigkeit gebrochen ist. Orchestrierung löst das, indem sie Abhängigkeiten ausdrücklich festhält und Fehler durch den Graphen weiterreicht.

Observability und Verlässlichkeit

Data Observability ist das, was Pipelines im Produktivbetrieb vertrauenswürdig macht. Die vier zentralen Signale:

• Aktualität: Wann wurde diese Tabelle zuletzt aktualisiert? Lief die Pipeline nach Plan? Ist die Lieferung überfällig?
• Volumen: Sind so viele Zeilen angekommen wie erwartet? Liefert eine Quelle null Zeilen, kann das heißen, dass keine Daten entstanden sind, oder dass die Pipeline still ausgefallen ist.
• Verteilung: Passen die Werteverteilungen der Spalten zu dem, was bisher üblich war? Eine verdoppelte Nullwertquote, ein deutlich verschobener Mittelwert oder ein unerwarteter Wert deuten auf eine Änderung weiter oben oder auf sinkende Datenqualität.
• Schema: Hat sich das Schema der Quelle geändert? Neue Spalten, entfernte Spalten oder geänderte Datentypen zerbrechen nachgelagerte Modelle still, wenn niemand das Schema überwacht.

Lineage und Governance

Die Governance-Anforderung an Datenpipelines dreht sich um Data Lineage: eine vollständige, nachvollziehbare Aufzeichnung darüber, wie Daten durch die Pipeline gelaufen sind, welche Transformationen darauf angewendet wurden und welches Ergebnis jeder Lauf erzeugt hat.

Lineage beantwortet genau die Fragen, die Fachbereiche stellen, wenn Zahlen überraschen: „Woher kommt diese Zahl?“, „Welche Systeme tragen zu dieser Tabelle bei?“, „Wenn ich diese Quelle ändere, welche Berichte trifft es?“ Ohne Lineage verlangt jede dieser Fragen Handarbeit: Data Engineers befragen, Code lesen, Abhängigkeiten erraten. Mit Lineage beantwortet der Katalog sie in Sekunden.

Interactive Data Lineage von Dawiso liest Lineage aus dbt, Spark, Airflow und weiteren Pipeline-Werkzeugen und zeichnet daraus eine Karte der Datenflüsse von der Quelle bis zum Dashboard, wo möglich bis auf Spaltenebene. Genau das macht Wirkungsanalyse überhaupt machbar: Vor einer Änderung am Quellsystem ist sichtbar, welche Modelle, Berichte und Entscheidungen daran hängen.

Fazit

Datenpipelines sind die Infrastruktur, die Analyse erst möglich macht. Infrastruktur ohne Governance, ohne Überwachung und ohne Pflege fällt jedoch irgendwann still aus. Was in Orchestrierung, Observability, Qualitätstests und Lineage investiert wird, ist kein Zusatzaufwand: Es ist der Unterschied zwischen einer Analyseinfrastruktur, der die Fachbereiche vertrauen, und einer, die mehr Verwirrung stiftet als Klarheit.