Konnektor für Data Warehouse

Der Datenkatalog für BigQuery, dem Ihr ganzes Team vertrauen kann.

Der Dawiso-BigQuery-Datenkatalog macht jedes Dataset, jede Tabelle, jede View und jede Routine zu einem durchsuchbaren Inventar, mit Lineage bis ins nachgelagerte BI.

Zur Dokumentation

Live-Konnektor Stabiler Konnektor

BigQuery

Dawiso

Nur Metadaten · Ihre Daten verlassen die Quelle nie

Typ: Serverloses Cloud Data Warehouse
Auth: Schlüssel des Dienstkontos (JSON)
Sync: Geplant, inkrementell
Richtung: Nur lesend · Metadaten

Zuerst das Wichtigste

Was ist ein Konnektor?

Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage

Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die Metadaten aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind.

Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie „Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“ oder „Wer verantwortet das orders-Topic in Kafka?“ beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss.

Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte nur lesend und sicher sein, er sollte inkrementell arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte Data Lineage über Systemgrenzen hinweg auflösen, nicht nur innerhalb eines Werkzeugs.

Über die Plattform

Was ist Google BigQuery?

Google BigQuery ist ein serverloses Data Warehouse in der Google Cloud. Es gibt kein Cluster zu dimensionieren und keine Maschine zu betreiben: Sie laden Daten hoch, fragen sie in SQL ab und zahlen für das, was Sie scannen. Marketingteams, Handel und digital geprägte Unternehmen nutzen es als analytisches Rückgrat, oft zusammen mit GA4 und Looker.

Der Knowledge Catalog (früher Dataplex) deckt ab, was innerhalb von BigQuery liegt. Nicht abgedeckt sind der Power-BI-Bericht, der die Tabelle nutzt, das Datenprodukt, für das der Fachbereich verantwortlich ist, und die Richtlinie, die mitläuft. Genau dort setzt der Dawiso-BigQuery-Datenkatalog an: nur lesend, nur Metadaten, und plattformübergreifend.

Architektur

So verbindet sich Dawiso mit BigQuery

Eine kleine, nur lesende Rolle aufseiten von BigQuery. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar.

Quelle

BigQuery-Projekt

Datasets und Tabellen
Views und materialisierte Views
Routinen und Parameter
Policy Tags und IAM

REST · JDBC

Dawiso-Scanner

Metadatenzugriff nur lesend

Schema- und Objekterkennung
Auflösung von Abhängigkeiten
SQL-Flow-Parsing (optional)
Sampling nach Opt-in

Intern

Katalog

Dawiso-Plattform

Durchsuchbare Metadaten
Data Lineage und Verantwortlichkeiten
Business Glossary
Richtlinien und Klassifizierungen

Verbindungsdetails

Protokoll: BigQuery REST API + INFORMATION_SCHEMA Views
Authentifizierung: Dienstkonto in GCP · JSON-Schlüssel · auf IAM begrenzte Rolle
Lineage: Objektabhängigkeiten werden aus dem INFORMATION_SCHEMA aufgelöst; Lineage auf Objektebene entsteht aus dem geparsten SQL der Views und Routinen über Data Flow Parsing in den Enterprise-Plänen

Einrichtung

BigQuery in 4 Schritten verbinden

01

Eigene IAM-Rolle anlegen

Nehmen Sie die BigQuery-Berechtigungen auf, die Dawiso braucht: datasets.get, tables.get/list/getIamPolicy, routines.get/list, jobs.create, readsessions.create/getData/update, projects.get/getIamPolicy.
02

Dienstkonto anlegen

Legen Sie ein eigenes Dienstkonto an, weisen Sie ihm die eigene Rolle zu und erzeugen Sie einen JSON-Schlüssel. Bewahren Sie ihn sicher auf; Google gibt ihn nur ein einziges Mal aus.
03

In Dawiso verbinden

Tragen Sie den Projektnamen ein und laden Sie den JSON-Schlüssel hoch. Die Verbindung wird in Sekunden gegen das INFORMATION_SCHEMA von BigQuery geprüft.
04

Ingestion starten

Der geplante inkrementelle Sync hält Datasets, Tabellen und Routinen aktuell. Flow Parsing löst die Lineage auf Objektebene in den Enterprise-Plänen auf.

Funktionen

Das bekommen Sie mit dem Konnektor für BigQuery

Katalog für Datasets und Tabellen

Jedes BigQuery-Dataset, jede Tabelle, View und Routine ist durchsuchbar, mit Spaltenbeschreibungen, Datentypen und Verantwortlichen.
Lineage auf Objektebene

Plattformübergreifende Lineage von einem Looker-Dashboard über BigQuery-Views bis hinunter zum rohen GA4-Export, über Data Flow Parsing in den Enterprise-Plänen.
Abgleich von Policy Tags und IAM

Policy Tags aus BigQuery und IAM-Bindungen auf Dataset-Ebene werden in den Katalog übernommen. So sieht der Fachbereich, wer wo was lesen darf.
PII-Klassifizierung

Klassifizieren Sie eine Spalte einmal. Dawiso markiert jede BigQuery-Spalte mit E-Mail-Adresse, IBAN oder amtlichen Ausweisnummern in allen Datasets und Projekten.
Einblick in Abfrage- und Slot-Kosten

Das INFORMATION_SCHEMA zeigt gescannte Bytes und Slot-Millisekunden je Tabelle. Damit wird endlich messbar, welche View am meisten kostet.
Verantwortung und Zertifizierung

Markieren Sie Tabellen als zertifiziert, veraltet oder in Prüfung. Verantwortliche sind direkt im Katalog sichtbar und bleiben beim jeweiligen BigQuery-Objekt.

Geschäftlicher Nutzen

Warum Teams den Konnektor für BigQuery aktivieren

-65 %
Weniger Rückfragen nach der richtigen Tabelle

Analysten finden die zertifizierte Gold-Tabelle in Dawiso, statt zu raten, ob sie die Staging-View oder den rohen Export nehmen sollen.
10x
Schnellere Auswirkungsanalyse

Bevor Sie eine BigQuery-View ändern, sehen Sie genau, welche Views, Looker-Dashboards und ML-Features von ihr abhängen. Sekunden statt Tage.
Prüfbereit
Nachweise für DSGVO und DORA

Sensible Spalten werden einmal klassifiziert, und die Richtlinie folgt ihnen durch Views, Joins und nachgelagertes BI, mit vollständigem Audit-Trail.

Bereit, Ihr BigQuery zu katalogisieren?

Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag.

Zur Dokumentation

Häufige Fragen

Noch Fragen? Sprechen Sie mit unserem Team ->

Hat BigQuery einen eingebauten Datenkatalog?

Ja. BigQuery bringt Dataplex mit (früher Data Catalog) für Assets innerhalb der Google Cloud. Dawiso ergänzt die Schicht, die Dataplex nicht abdeckt: die Looker und BI-Berichte, das Business Glossary und die Richtlinien außerhalb von BigQuery, mit einer Lineage auf Objektebene, die sich über alle erstreckt.

Was ist der Unterschied zwischen Dataplex und Dawiso?

Dataplex katalogisiert und steuert Daten innerhalb der Google Cloud. Dawiso ist ein plattformübergreifender Datenkatalog: Es liest BigQuery-Metadaten nur lesend und verbindet sie mit dem Rest Ihres Stacks, also anderen Warehouses, BI-Werkzeugen, Dateien und Streaming. So folgen Lineage, Verantwortlichkeiten und Klassifizierungen Ihren Daten über Werkzeuge hinweg und nicht nur innerhalb von GCP.

Wozu dient ein Datenkatalog?

Ein Datenkatalog macht jedes Dataset, jede Tabelle und jede Spalte auffindbar, dokumentiert und vertrauenswürdig: wer dafür verantwortlich ist, was sie bedeutet, woher sie stammt und ob sie zertifiziert ist. Für BigQuery macht Dawiso aus verstreuten Datasets einen durchsuchbaren Katalog für das ganze Unternehmen, nicht nur für das Datenteam.

Wie verbinde ich BigQuery mit Dawiso?

Legen Sie ein Dienstkonto mit reinem Leserecht auf Metadaten an, erzeugen Sie einen JSON-Schlüssel, hinterlegen Sie ihn in Dawiso zusammen mit den zu erfassenden Projekten und starten Sie den geplanten Sync. Vier Schritte, und es verlassen keine Daten BigQuery.

Welche Berechtigungen braucht Dawiso in BigQuery?

Eine eigene IAM-Rolle, gebunden an ein eigenes Dienstkonto, mit diesen BigQuery-Berechtigungen: datasets.get, datasets.getIamPolicy, tables.get/list/getIamPolicy, routines.get/list, jobs.create, readsessions.create/getData/update und projects.get/getIamPolicy. Durchgehend nur lesend.

Kopiert Dawiso unsere BigQuery-Daten?

Nein. Dawiso fragt das INFORMATION_SCHEMA ausschließlich nach Metadaten ab. Die Daten auf Zeilenebene bleiben in BigQuery. Profiling und Sampling von Spalten sind pro Datenquelle optional und laufen nie automatisch.

Wie entsteht die Lineage?

BigQuery stellt keine native Lineage von Objekt zu Objekt bereit. Dawiso löst sie auf, indem es das SQL aus den Definitionen der Views und Routinen über Data Flow Parsing parst. Flow Parsing steht in den Enterprise-Plänen zur Verfügung.

Wo wird der Schlüssel des Dienstkontos gespeichert?

Verschlüsselt im Ruhezustand in Ihrem Dawiso Tenant; bei einer privaten Verbindung verlässt er Ihr Netzwerk nie. Wir empfehlen, den Schlüssel im üblichen Rhythmus Ihrer IAM-Rotation in GCP zu wechseln.