Konnektor für Streaming · Event-Plattform

Der Datenkatalog für Confluent, dem Ihr ganzes Team vertrauen kann.

Der Confluent-Kafka-Datenkatalog von Dawiso macht Ihre Confluent Cloud zu einem durchsuchbaren Inventar: Cluster, Topics, Schemas aus Stream Governance und Consumer Groups.

Zur Dokumentation

Live-Konnektor Stabiler Konnektor

Confluent

Dawiso

Nur Metadaten · Ihre Daten verlassen die Quelle nie

Typ: Verwaltete Kafka-Plattform
Auth: Confluent API Key und Secret (Cluster und Schema Registry)
Sync: Geplant, inkrementell
Richtung: Nur lesend · Metadaten

Zuerst das Wichtigste

Was ist ein Konnektor?

Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage

Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die Metadaten aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind.

Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie „Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“ oder „Wer verantwortet das orders-Topic in Kafka?“ beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss.

Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte nur lesend und sicher sein, er sollte inkrementell arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte Data Lineage über Systemgrenzen hinweg auflösen, nicht nur innerhalb eines Werkzeugs.

Über die Plattform

Was ist Confluent Kafka?

Confluent Kafka ist die verwaltete Plattform für Apache Kafka, gebaut vom Unternehmen, das die ursprünglichen Entwickler von Kafka gegründet haben. Teams nutzen Confluent Cloud (oder Confluent Platform On-Premises), wenn sie Kafka ohne eigenen Broker-Betrieb wollen, mit Zusätzen darum herum: Stream Governance, Schema Registry, ksqlDB, RBAC und ein Stream Catalog, um Topics zu finden.

Der Stream Catalog von Confluent kümmert sich um Topics innerhalb von Confluent. Nicht abgedeckt sind der Power-BI-Bericht, der die nachgelagerte Warehouse-Tabelle nutzt, und das Datenprodukt, für das der Fachbereich tatsächlich durchgängig verantwortlich ist. Genau dort setzt der Confluent-Kafka-Datenkatalog von Dawiso an: nur lesend, nur Metadaten, und plattformübergreifend.

Architektur

So verbindet sich Dawiso mit Confluent

Eine kleine, nur lesende Rolle aufseiten von Confluent. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar.

Quelle

Confluent-Cloud-Umgebung

Cluster und REST-Endpunkt
Topics und Partitionen
Schemas aus Stream Governance
Consumer Groups und ACLs

REST · JDBC

Dawiso-Scanner

Metadatenzugriff nur lesend

Schema- und Objekterkennung
Auflösung von Abhängigkeiten
SQL-Flow-Parsing (optional)
Sampling nach Opt-in

Intern

Katalog

Dawiso-Plattform

Durchsuchbare Metadaten
Data Lineage und Verantwortlichkeiten
Business Glossary
Richtlinien und Klassifizierungen

Verbindungsdetails

Protokoll: Confluent Cloud REST API + Schema Registry API
Authentifizierung: API Key und Secret für das Cluster · API Key und Secret für die Schema Registry · ACLs für das Dienstkonto
Lineage: Topics, Schemas und Consumer Groups werden aus den Cluster-Metadaten und der Schema Registry von Stream Governance katalogisiert, mit Verantwortlichkeiten und Schema-Versionen in Dawiso dokumentiert

Einrichtung

Confluent in 4 Schritten verbinden

01

Cluster-ID und REST-Endpunkt holen

Öffnen Sie in Confluent Cloud Cluster Overview > Cluster settings. Kopieren Sie die Cluster-ID und die URL des REST-Endpunkts und legen Sie beide für das Verbindungsformular bereit.
02

API Key für das Cluster anlegen

Erstellen Sie unter Cluster Overview > API keys einen API Key für ein Dienstkonto, mit ACLs für DescribeConfigs auf Cluster, Describe auf Consumer Group sowie Describe und DescribeConfigs auf Topic.
03

API Key für die Schema Registry anlegen

Kopieren Sie im Bereich Stream Governance API der Umgebung die Endpunkt-URL und erstellen Sie einen API Key samt Secret für die Schema Registry. Beide Paare werden gebraucht, um Topics und Schemas einzulesen.
04

Verbinden und Ingestion starten

Tragen Sie die Endpunkte und Zugangsdaten für Cluster und Schema Registry in Dawiso ein. Wählen Sie die Projekte über reguläre Ausdrücke, speichern Sie die Datenquelle und starten Sie die Ingestion. Der geplante inkrementelle Sync hält den Katalog aktuell.

Funktionen

Das bekommen Sie mit dem Konnektor für Confluent

Katalog für Topics und Cluster

Jedes Topic über alle Confluent-Umgebungen hinweg ist durchsuchbar, mit Anzahl der Partitionen, Aufbewahrung, Verantwortlichen und dem Team, das den Producer gebaut hat.
Abgleich mit Stream Governance

Schemas in Avro, Protobuf und JSON aus der Confluent Schema Registry, mit Versionshistorie und einer Ansicht der Unterschiede zwischen zwei Ständen.
Consumer Groups sichtbar

Consumer Groups werden neben den Topics, aus denen sie lesen, in den Katalog übernommen. So ist klar, welche Gruppen an welchem Topic angemeldet sind.
PII in Events

Klassifizieren Sie Schemafelder einmal. Dawiso markiert jedes Confluent-Topic mit E-Mail-Adresse, IBAN oder amtlichen Ausweisnummern über alle Cluster und Umgebungen hinweg.
Data Contracts

Erheben Sie ein Schema zu einem Kontrakt. Blockieren Sie inkompatible Änderungen, bevor sie ausgeliefert werden, und benachrichtigen Sie die Abnehmenden, wenn sich der Kontrakt weiterentwickelt.
RBAC und ACLs sichtbar

Cluster-ACLs und die Zuordnungen der Dienstkonten werden in den Katalog übernommen, sodass der Fachbereich sieht, wer wo was lesen darf.

Geschäftlicher Nutzen

Warum Teams den Konnektor für Confluent aktivieren

0
Stille Ausfälle durch Schema-Änderungen

Unterschiede zwischen Schema-Ständen und Benachrichtigungen an Consumer verhindern, dass eine Umbenennung in Protobuf über Nacht drei nachgelagerte Dienste lahmlegt.
-80 %
Zeit bis zum richtigen Topic

Neue Engineers fragen nicht mehr in Slack, welches Topic die Bestellereignisse führt. Sie suchen im Confluent-Kafka-Datenkatalog und lesen nach.
EU-tauglich
Governance für Streaming

Personenbezogene Daten, die durch Confluent fließen, werden klassifiziert, sind prüfbar und werden über Richtlinien verfolgt, genauso wie Daten, die in Ihrem Warehouse liegen.

Bereit, Ihr Confluent zu katalogisieren?

Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag.

Zur Dokumentation

Häufige Fragen

Noch Fragen? Sprechen Sie mit unserem Team ->

Hat Confluent einen Datenkatalog?

Confluent Cloud bietet den Stream Catalog für Streaming-Metadaten. Dawiso holt Ihre Confluent-Topics, Schemas und Consumer Groups in denselben Katalog wie Ihre Warehouses und Ihr BI, mit Verantwortlichkeiten und Klassifizierung über den ganzen Stack.

Was sind Kafka-Metadaten?

Kafka-Metadaten umfassen Topics, Partitionen, Schemas und Consumer Groups; Confluent ergänzt Schema Registry und Stream Governance. Dawiso liest die Metadaten zu Topics und Schemas nur lesend und dokumentiert jedes Topic mit Verantwortlichen, Bedeutung und Schema-Versionen.

Was ist der Unterschied zwischen Kafka und Confluent Kafka?

Confluent Kafka ergänzt quelloffenes Kafka um Werkzeuge für Unternehmen: Schema Registry, Stream Governance, Konnektoren. Dawiso verbindet sich mit Confluent Cloud und katalogisiert Ihre Topics, Schemas und Consumer Groups neben dem Rest Ihrer Daten.

Welche Berechtigungen braucht Dawiso in Confluent?

Zwei Paare aus API Key und Secret. Eines für das Cluster, gebunden an ein Dienstkonto mit DescribeConfigs auf Cluster, Describe auf Consumer Group sowie Describe und DescribeConfigs auf Topic. Eines für die Schema Registry. Durchgehend nur lesend.

Liest Dawiso aus unseren Topics?

Nein. Der Standardmodus ist rein auf Metadaten beschränkt und läuft über die Confluent REST API und die Schema Registry von Stream Governance. Das Sampling eines Topics ist pro Datenquelle optional und läuft nie von allein.

Wie verhält sich Dawiso zum Confluent Stream Catalog?

Der Stream Catalog deckt Topics innerhalb von Confluent ab. Dawiso holt Confluent-Topics und Schemas in einen Katalog neben Ihre Warehouse- und BI-Assets, mit gemeinsamen Verantwortlichkeiten und gemeinsamer Klassifizierung. Beide können nebeneinander laufen; Dawiso liest ausschließlich Metadaten.

Unterstützt der Konnektor Confluent Platform On-Premises?

Das Verbindungsformular ist auf den REST-Endpunkt, die Schema Registry und die API-Key-Anmeldung von Confluent Cloud ausgelegt. Für Confluent Platform On-Premises wenden Sie sich an Customer Success; das Einlesen On-Premises läuft über die Dawiso Integration Runtime (DIR).