Konnektor für Streaming · Event-Plattform

Der Datenkatalog für Kafka, dem Ihr ganzes Team vertrauen kann.

Der Apache-Kafka-Datenkatalog von Dawiso macht jedes Cluster, jeden Broker, jedes Topic und jede Consumer Group zu einem durchsuchbaren Inventar, mit Lineage vom Producer bis zum Consumer.

Zur Dokumentation

Live-Konnektor Stabiler Konnektor

Kafka

Dawiso

Nur Metadaten · Ihre Daten verlassen die Quelle nie

Typ: Verteiltes Event-Streaming
Auth: SASL/PLAIN (JAAS) · technischer Benutzer mit ACLs
Sync: Geplant, inkrementell
Richtung: Nur lesend · Metadaten

Zuerst das Wichtigste

Was ist ein Konnektor?

Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage

Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die Metadaten aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind.

Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie „Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“ oder „Wer verantwortet das orders-Topic in Kafka?“ beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss.

Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte nur lesend und sicher sein, er sollte inkrementell arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte Data Lineage über Systemgrenzen hinweg auflösen, nicht nur innerhalb eines Werkzeugs.

Über die Plattform

Was ist Apache Kafka?

Apache Kafka ist die quelloffene Plattform für Event-Streaming, die Daten in Echtzeit zwischen Systemen bewegt. Banken nutzen sie für Transaktionen, der Handel für Klickströme, die Industrie für Sensortelemetrie. Üblich sind Kombinationen mit einer Schema Registry für Avro oder Protobuf, mit Kafka Connect und mit nachgelagerten Warehouses wie Snowflake oder BigQuery.

Kafka zu betreiben ist der einfache Teil. Der schwierige ist zu wissen, was durch Hunderte Topics fließt, wer dafür verantwortlich ist und welche Schemas sich letzte Nacht geändert haben: Producer liefern aus, Consumer brechen, und kein Katalog sagt Ihnen warum. Genau dort setzt der Apache-Kafka-Datenkatalog von Dawiso an: nur lesend, nur Metadaten, und plattformübergreifend.

Architektur

So verbindet sich Dawiso mit Kafka

Eine kleine, nur lesende Rolle aufseiten von Kafka. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar.

Quelle

Kafka-Cluster

Broker und Cluster-Konfiguration
Topics und Partitionen
Producer und Consumer
ACLs und Konfigurationen

REST · JDBC

Dawiso-Scanner

Metadatenzugriff nur lesend

Schema- und Objekterkennung
Auflösung von Abhängigkeiten
SQL-Flow-Parsing (optional)
Sampling nach Opt-in

Intern

Katalog

Dawiso-Plattform

Durchsuchbare Metadaten
Data Lineage und Verantwortlichkeiten
Business Glossary
Richtlinien und Klassifizierungen

Verbindungsdetails

Protokoll: Kafka Admin API
Authentifizierung: SASL/PLAIN mit JAAS-Datei · eigener technischer Benutzer · ACLs für Describe und Read
Lineage: Die Beziehungen von Producer über Topic zu Consumer werden aus den Metadaten der Consumer Groups und den Broker-ACLs aufgelöst; die nachgelagerte plattformübergreifende Lineage wird mit Warehouse- und dbt-Quellen zusammengeführt

Einrichtung

Kafka in 4 Schritten verbinden

01

Technischen JAAS-Benutzer anlegen

Legen Sie in kafka_server_jaas.conf einen PlainLoginModule-Eintrag für einen eigenen Benutzer an (zum Beispiel dawiso_technical_user). Geben Sie den Dateipfad über -Djava.security.auth.login.config an die Broker weiter.
02

Nur lesende ACLs vergeben

Vergeben Sie mit kafka-acls.sh die Rechte Describe und Read auf Topic '*' sowie Describe und DescribeConfigs auf die Consumer Groups, die katalogisiert werden sollen. Durchgehend nur lesend.
03

In Dawiso verbinden

Tragen Sie die Bootstrap-Server und die Zugangsdaten ein. Die Verbindung wird in Sekunden gegen die Admin API geprüft.
04

Ingestion starten

Der geplante inkrementelle Sync hält Topics und Consumer Groups aktuell. Änderungen an einem Topic oder an der Verantwortung markieren nachgelagerte Consumer für die Auswirkungsanalyse.

Funktionen

Das bekommen Sie mit dem Konnektor für Kafka

Katalog für Topics und Cluster

Jedes Topic über alle Cluster hinweg ist durchsuchbar, mit Anzahl der Partitionen, Aufbewahrung, Verantwortlichen und dem Team, das den Producer gebaut hat.
Schemas über Confluent

Sie betreiben eine Schema Registry? Avro-, Protobuf- und JSON-Schemas werden samt Versionshistorie und Unterschieden über den eigenen Confluent-Kafka-Konnektor katalogisiert.
Lineage von Producer zu Consumer

Sehen Sie, welche Dienste in ein Topic schreiben und welche nachgelagerten Jobs daraus lesen. Die Auswirkungsanalyse funktioniert beim Streaming genauso wie bei Tabellen.
PII in Events

Klassifizieren Sie ein Topic einmal. Dawiso markiert jedes Topic mit E-Mail-Adresse, IBAN oder amtlichen Ausweisnummern über alle Cluster und Umgebungen hinweg.
Data Contracts

Erheben Sie ein Topic zu einem Data Contract. Blockieren Sie inkompatible Änderungen, bevor sie ausgeliefert werden, und benachrichtigen Sie die Abnehmenden, wenn sich der Kontrakt weiterentwickelt.
Durchsatz und Aktualität

Volumen je Topic, Lag je Consumer Group und der Zeitpunkt des letzten Schreibvorgangs erscheinen im Katalog, direkt neben den Verantwortlichen.

Geschäftlicher Nutzen

Warum Teams den Konnektor für Kafka aktivieren

0
Stille Ausfälle durch Topic-Änderungen

Verantwortlichkeiten, Data Contracts und Benachrichtigungen an Consumer verhindern, dass eine unangekündigte Änderung an einem Topic über Nacht drei nachgelagerte Dienste lahmlegt.
-80 %
Zeit bis zum richtigen Topic

Neue Engineers fragen nicht mehr in Slack, welches Topic die Bestellereignisse führt. Sie suchen im Apache-Kafka-Datenkatalog und lesen nach.
EU-tauglich
Governance für Streaming

Personenbezogene Daten, die durch Kafka fließen, werden klassifiziert, sind prüfbar und werden über Richtlinien verfolgt, genauso wie Daten, die in Ihrem Warehouse liegen.

Bereit, Ihr Kafka zu katalogisieren?

Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag.

Zur Dokumentation

Häufige Fragen

Noch Fragen? Sprechen Sie mit unserem Team ->

Hat Kafka einen Datenkatalog?

Kafka selbst hat keinen; Confluent ergänzt Schema Registry und Stream Catalog. Dawiso liest Ihre Topics nur lesend und verbindet die Streaming-Daten mit den nachgelagerten Warehouses und dem BI, sodass Lineage und Verantwortlichkeiten den ganzen Stack umspannen. Objekte der Schema Registry werden über den eigenen Confluent-Kafka-Konnektor katalogisiert.

Was sind Metadaten in Kafka?

Kafka-Metadaten umfassen Topics, Partitionen, Consumer Groups und Offsets. Dawiso liest die Metadaten zu Topics und Consumer Groups nur lesend, dokumentiert jedes Topic mit Verantwortlichen und Bedeutung und verfolgt, welche Systeme es erzeugen und lesen.

Welche Berechtigungen braucht Dawiso in Kafka?

Einen eigenen technischen SASL-Benutzer (zum Beispiel dawiso_technical_user) mit ACLs für Describe und Read auf Topic '*' sowie Describe und DescribeConfigs auf die Consumer Groups, die katalogisiert werden sollen. Dawiso schreibt nie in Ihre Topics und liest nie aus ihnen.

Liest Dawiso aus unseren Topics?

Nein. Der Standardmodus ist rein auf Metadaten beschränkt und läuft über die Kafka Admin API. Das Sampling eines Topics ist pro Datenquelle optional, läuft nur, wenn Sie es ausdrücklich einschalten, und startet nie von allein.

Wie werden Producer und Consumer verknüpft?

Aus den Metadaten der Consumer Groups auf den Brokern, aus den Broker-ACLs und aus der plattformübergreifenden Lineage, wenn das Topic Quelle oder Ziel eines eingelesenen dbt- oder Warehouse-Objekts ist. Manuelle Zuordnungen lassen sich in Dawiso kuratieren.

Welche Kafka-Distributionen werden unterstützt?

Apache Kafka mit SASL/PLAIN-Authentifizierung. Das Verbindungsformular verlangt Bootstrap-Server und einen über JAAS definierten Benutzer. Für Confluent Cloud und Confluent Platform nutzen Sie den eigenen Confluent-Kafka-Konnektor, der den Confluent-REST-Endpunkt und die Stream Governance API anspricht.