Konnektor für Data Lakehouse

Der Datenkatalog für Databricks, dem Ihr ganzes Team vertrauen kann.

Der Dawiso-Databricks-Datenkatalog macht jedes Unity-Catalog-Schema, jede Tabelle, jede View und jedes Volume zu einem durchsuchbaren Inventar, mit Lineage auf Tabellen- und Spaltenebene bis in jedes nachgelagerte BI-Dashboard.

Zur Dokumentation

Live-Konnektor Stabiler Konnektor

Databricks

Dawiso

Nur Metadaten · Ihre Daten verlassen die Quelle nie

Typ: Data-Lakehouse-Plattform
Auth: Personal Access Token (PAT)
Sync: Geplant, inkrementell
Richtung: Nur lesend · Metadaten

Zuerst das Wichtigste

Was ist ein Konnektor?

Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage

Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die Metadaten aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind.

Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie „Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“ oder „Wer verantwortet das orders-Topic in Kafka?“ beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss.

Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte nur lesend und sicher sein, er sollte inkrementell arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte Data Lineage über Systemgrenzen hinweg auflösen, nicht nur innerhalb eines Werkzeugs.

Über die Plattform

Was ist Databricks?

Databricks ist die Data-Lakehouse-Plattform, die Warehousing, Data Engineering und KI auf einer Grundlage vereint. Teams im Handel, in Banken und in der Pharmaindustrie betreiben darauf ihre Analysen, ihre ML-Pipelines und ihre GenAI-Workloads, auf Delta-Lake-Tabellen, die Unity Catalog steuert.

Unity Catalog deckt ab, was innerhalb von Databricks liegt. Schwierig ist alles andere: die vorgelagerte Snowflake-Tabelle oder das Kafka-Topic, aus dem die Tabelle gespeist wurde, der Power-BI-Bericht, der sie nachgelagert nutzt, das Business Glossary, für das der Data Steward verantwortlich ist. Genau dort setzt der Dawiso-Databricks-Datenkatalog an: nur Metadaten, plattformübergreifend, und mit der Möglichkeit, das kuratierte Ergebnis nach Unity Catalog zurückzuschreiben.

Architektur

So verbindet sich Dawiso mit Databricks

Eine kleine, nur lesende Rolle aufseiten von Databricks. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar.

Quelle

Databricks Workspace

Unity Catalog Metastore
Delta-Tabellen, Views
Volumes
Lineage auf Tabellen- und Spaltenebene

REST · JDBC

Dawiso-Scanner

Metadatenzugriff nur lesend

Schema- und Objekterkennung
Auflösung von Abhängigkeiten
SQL-Flow-Parsing (optional)
Sampling nach Opt-in

Intern

Katalog

Dawiso-Plattform

Durchsuchbare Metadaten
Data Lineage und Verantwortlichkeiten
Business Glossary
Richtlinien und Klassifizierungen

Verbindungsdetails

Protokoll: Databricks SQL + Unity Catalog REST API
Authentifizierung: Personal Access Token; Service Principal wird unterstützt
Lineage: Die Systemtabellen von Unity Catalog (system.access.table_lineage, column_lineage) liefern Lineage auf Tabellen- und Spaltenebene.

Einrichtung

Databricks in 4 Schritten verbinden

01

Service Principal bereitstellen

Legen Sie einen Databricks Service Principal an, mit USE_CATALOG und SELECT auf jedem Catalog, den Dawiso lesen soll, dazu Zugriff auf die Lineage-Tabellen unter system.access.*. Mehr braucht das Scannen nicht. Writeback nach Unity Catalog und die Bereitstellung über Access Gate sind optional und brauchen Schreibrechte auf den Objekten, die sie berühren.
02

PAT erzeugen

Erzeugen Sie für den Service Principal ein Personal Access Token. Hinterlegen Sie es im Verbindungstresor von Dawiso; es verlässt die Plattform nie.
03

Verbinden und Catalogs wählen

Tragen Sie Workspace-URL und PAT in Dawiso ein. Wählen Sie die zu erfassenden Unity Catalogs in einer kommagetrennten Liste.
04

Ingestion starten

Der geplante inkrementelle Sync hält den Katalog aktuell. Die Lineage auf Spaltenebene wird in den Databricks-Tarifen Premium und Enterprise aus Unity Catalog ermittelt.

Funktionen

Das bekommen Sie mit dem Konnektor für Databricks

Spiegel des Unity Catalog

Jeder Catalog, jedes Schema, jede Delta-Tabelle und jede View ist durchsuchbar, mit Spaltenbeschreibungen, Datentypen, Tags und dem Job, der sie gebaut hat.
Lineage auf Spaltenebene

Plattformübergreifende Lineage von einem Power-BI-Visual über die DLT-Pipelines in Databricks bis hinunter zur rohen Bronze-Tabelle.
Unity-Catalog-Tags im Kontext

Objekt-Tags, die in Unity Catalog vergeben wurden, werden in Dawiso eingelesen. So bleibt der Kontext zu Maskierung und Zeilenfiltern neben dem Katalog sichtbar. Nur lesend, nur Metadaten.
PII-Klassifizierung

Klassifizieren Sie eine Spalte einmal. Dawiso markiert jede Databricks-Spalte mit E-Mail-Adresse, IBAN oder amtlichen Ausweisnummern über alle Catalogs hinweg.
Verantwortung und Zertifizierung

Markieren Sie Tabellen als zertifiziert, veraltet oder in Prüfung. Verantwortliche sind direkt im Katalog und auf der Databricks-Seite sichtbar.

Geschäftlicher Nutzen

Warum Teams den Konnektor für Databricks aktivieren

-70 %
Weniger Rückfragen nach der richtigen Tabelle

Analysten finden die zertifizierte Gold-Delta-Tabelle in Dawiso, statt beim Datenteam zu fragen, welche Silver-Tabelle auf den Umsatz abbildet.
8x
Schnellere Auswirkungsanalyse

Bevor Sie eine Databricks-Spalte ändern, sehen Sie genau, welche Jobs, BI-Berichte und ML-Features von ihr abhängen. Stunden statt Tage.
Prüfbereit
Nachweise für DSGVO und DORA

Sensible Spalten werden einmal klassifiziert, und die Richtlinie folgt ihnen durch Delta-Tabellen, Joins und nachgelagertes BI, mit vollständigem Audit-Trail.

Bereit, Ihr Databricks zu katalogisieren?

Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag.

Zur Dokumentation

Häufige Fragen

Noch Fragen? Sprechen Sie mit unserem Team ->

Was ist ein Datenkatalog in Databricks?

Databricks steuert Daten innerhalb der Plattform über Unity Catalog. Dawiso ergänzt das um einen fachlich orientierten, plattformübergreifenden Katalog: Es liest Unity-Catalog-Metadaten ein, verbindet Tabellen über Lineage auf Spaltenebene mit BI und Quellsystemen und schreibt das kuratierte Ergebnis zurück.

Was ist der Unterschied zwischen Catalog und Metastore in Databricks?

In Databricks ist der Metastore der oberste Container; ein Catalog ist die erste Ebene innerhalb von Unity Catalog (Catalog > Schema > Tabelle). Dawiso liest Unity-Catalog-Metadaten, ergänzt plattformübergreifende Lineage und ein Glossar, das über Databricks hinausreicht, und kann kuratierte Metadaten nach Unity Catalog zurückschreiben.

Wozu dient ein Datenkatalog?

Ein Datenkatalog macht jede Databricks-Tabelle auffindbar, dokumentiert und vertrauenswürdig. Dawiso macht aus Unity-Catalog-Metadaten einen durchsuchbaren Katalog für das ganze Unternehmen, mit Lineage zurück bis zur Quelle.

Welche Berechtigungen braucht Dawiso in Databricks?

Einen eigenen Service Principal mit USE_CATALOG und SELECT auf jedem Catalog, den Dawiso liest, dazu SELECT auf das Schema system.access.* für die Lineage. Das Scannen ist nur lesend. Zwei optionale Funktionen schreiben: das Writeback nach Unity Catalog, das Tags oder Eigenschaften auf den von Ihnen gewählten Objekten setzt, und die Bereitstellung über Access Gate, die einen genehmigten Zugriff tatsächlich einräumt. Beide brauchen Schreibrechte auf den betroffenen Objekten, und keine von beiden berührt Daten auf Zeilenebene.

Kopiert Dawiso unsere Databricks-Daten?

Nein. Dawiso fragt die Metadaten-APIs von Unity Catalog und das Schema system.access ausschließlich nach Metadaten ab. Die Daten auf Zeilenebene bleiben in Databricks. Profiling und Sampling von Spalten sind pro Datenquelle optional.

Wie entsteht die Lineage auf Spaltenebene?

Die Abhängigkeiten von Objekten und Spalten stammen aus den Systemtabellen system.access.table_lineage und system.access.column_lineage. Verfügbar in den Databricks-Tarifen Premium und Enterprise.

Funktioniert Dawiso mit Metastores auf Workspace-Ebene?

Der unterstützte Weg ist Unity Catalog, also der Metastore auf Account-Ebene. Ältere Metastores auf Workspace-Ebene werden im Kompatibilitätsmodus gelesen, ohne Lineage.