Die Architektur der Metadatenübernahme in Dawiso
Die Architektur der Datenübernahme von Dawiso ist darauf angelegt, sich jeder Infrastruktur anzupassen, ob in der Cloud, im eigenen Rechenzentrum oder gemischt. Sie gibt Unternehmen die volle Kontrolle darüber, wie Metadaten geholt werden, mit Wahlmöglichkeiten, die interne Sicherheitsrichtlinien und technische Vorgaben achten. Dieser Beitrag zeigt klar, wie Dawiso die Übernahme von Metadaten handhabt, wie sie sich in die Architektur der Plattform einfügt und warum sie in modernen Datenlandschaften ebenso gut arbeitet wie in komplexen Altumgebungen.
Die Architektur von Dawiso im Überblick
Die Plattform von Dawiso gliedert sich in drei Hauptbestandteile, die aufeinander abgestimmt sind:
Dawiso Product: die zentrale Oberfläche und Steuerzentrale, in der Nutzer mit der Plattform arbeiten. Sie verbindet die übrigen Module und öffnet den Zugang zu Datenkatalogen, Glossaren, Lineage und mehr.
Dawiso Internal AI: eine Schicht für Intelligenz, die Funktionen mit KI bereitstellt, etwa Empfehlungen und Vorschläge zu Metadaten.
Dawiso Data Ingestion Module: zuständig dafür, Metadaten aus verschiedenen Quellsystemen zu holen und die Umgebung von Dawiso zu füllen.
Alle diese Bestandteile können sicher in der Cloud laufen, auf einer Azure-Infrastruktur, oder je nach Umgebung des Kunden im eigenen Rechenzentrum betrieben werden. In der Cloud kann Dawiso wahlweise OpenAI einbinden, um sprachliche Fähigkeiten zu erweitern. Unabhängig vom Betriebsmodell wird die Plattform im Browser über gängige HTTPS-Protokolle erreicht, was die Verbindung zwischen Dawiso und der Umgebung des Kunden absichert.
Zwei Wege der Übernahme: Push und Pull
Dawiso bietet zwei verschiedene Wege, Metadaten in die Plattform zu bringen: den Push-Modus und den Pull-Modus. Beide führen zum selben Ergebnis, nämlich Metadaten aus Ihren Systemen nach Dawiso zu übernehmen, geben Ihnen aber je nach Infrastruktur und Sicherheitsbedarf unterschiedlich viel Kontrolle.
Push-Modus (gesteuert, sicher, vom Kunden geführt)
Im Push-Modus läuft der gesamte Vorgang bei Ihnen. Sie installieren ein kleines Hilfsprogramm namens Dawiso Integration Runtime (DIR), richten ihm Zugang zu Ihren internen Systemen ein und überlassen ihm das Auslesen und die sichere Übertragung der Metadaten an Dawiso. Ein wesentlicher Vorteil: Sie haben die zeitliche Steuerung vollständig in der Hand. Sie bestimmen, wann Metadaten in DIR ausgelesen werden, etwa jede Nacht um 3 Uhr, und unabhängig davon, wann diese Metadaten von DIR an Dawiso übergeben werden. Diese Trennung erlaubt Ihnen, die Metadaten vor dem Weitersenden lokal zu prüfen oder freizugeben. Das ist besonders in Umgebungen mit strengen Anforderungen an Governance oder Prüfbarkeit nützlich.
Stellen Sie es sich so vor: Sie sind bei uns im Büro eingeladen, und wir geben Ihnen den Schlüssel zu einem Raum. Sie kommen herein, erledigen, was Sie zu erledigen haben, und gehen, wann es Ihnen passt. Niemand sonst muss wissen, worauf Sie intern zugegriffen haben, Sie behalten die ganze Zeit die Führung. Dieser Weg passt zu Unternehmen mit strengen Zugriffsrichtlinien oder abgeschotteten Umgebungen.
Im Push-Modus stößt der Kunde die Übernahme der Metadaten über eine bereitgestellte ausführbare Datei an (Dawiso-Ingestion.exe). Diese Datei läuft in der Umgebung des Kunden, verbindet sich mit den angegebenen Datenquellen, liest Metadaten aus und übergibt sie über HTTPS gesichert an Dawiso.
- Passend für: Unternehmen mit strengen Sicherheitsrichtlinien, die externen Systemen den Zugriff auf interne Datenquellen verwehren.
- Wesentlicher Vorteil: volle Kontrolle darüber, was geteilt wird, wie oft die Übernahme läuft (etwa nächtlich über den Windows-Aufgabenplaner) und welche Metadaten an Dawiso gehen.
- Ergänzender Hinweis: Metadaten werden häufig in mit Gzip komprimierte Dateien ausgelesen und gesichert übertragen.
Pull-Modus (ohne eigenen Aufwand, von Dawiso gesteuert)
Im Pull-Modus läuft es umgekehrt. Dawiso bekommt gesicherte Zugangsdaten für die Quellsysteme (etwa Snowflake oder SQL Server) und verbindet sich unmittelbar, um Metadaten zu holen. Sie können weiterhin festlegen, wann die Übernahme laufen soll, etwa außerhalb der Hauptzeiten, doch es sitzt kein DIR dazwischen. Auslesen und Übertragen geschehen in einem einzigen geplanten Schritt, vollständig und automatisch von Dawiso gesteuert. Das vereinfacht die Einrichtung und senkt den Pflegeaufwand, lässt Ihnen aber die Kontrolle darüber, wann Metadaten erhoben werden.
Diesmal kommen Sie zu uns ins Büro, aber alles, was Sie nicht anfassen sollen, ist deutlich markiert und abgesperrt. Sie sehen und nehmen nur, was frei zugänglich ist. Das ist einfach, sicher und wird auf unserer Seite gesteuert, Sie müssen nichts verwalten.
- Passend für: Kunden, die einen Weg ohne eigene Skripte für die Übernahme bevorzugen.
- Wesentlicher Vorteil: kaum Einrichtungsaufwand beim Kunden, Dawiso übernimmt alles von der Verbindung bis zur Übernahme.
Beide Wege tragen Cloud- und On-Premise-Umgebungen und ruhen auf der belastbaren Dawiso Ingestion Engine, die mit Millionen von Metadatenbeständen und häufigen Aktualisierungen mühelos umgeht.
Vorteile der Übernahmearchitektur von Dawiso
- Sicherheit und Beweglichkeit: Kunden wählen den Weg, der zu ihrer Infrastruktur und Sicherheitsrichtlinie passt, ohne an Fähigkeiten einzubüßen.
- Skalierbarkeit: ausgelegt auf Metadatenmengen in Unternehmensgröße.
- Plattformübergreifend: arbeitet unter Windows, Linux, in der Cloud und im eigenen Rechenzentrum.
- Anpassbare Zeitpläne: Im Push-Modus kann die Übernahme nach eigenen Zeitplänen laufen (etwa nächtlich).
- Einsicht: Nutzer können ausgelesene Metadaten prüfen, bevor sie an Dawiso gehen.
- Widerstandsfähigkeit: Die Übernahme der Metadaten hängt im Push-Modus nicht von der Verfügbarkeit des Quellsystems ab.
- Write-back-Support: Dawiso liest nicht nur aus Quellen, es kann Metadaten (etwa Definitionen und Bezeichnungen) über eine REST API auch in Werkzeuge wie Tableau zurückschreiben.
Verbindungsarten: geteilt und privat
Um verschiedenen Anforderungen an Sicherheit und Zugang gerecht zu werden, unterscheidet Dawiso außerdem zwischen geteilten und privaten Verbindungen.
Eine geteilte Verbindung heißt, dass Dawiso sich mit den von Ihnen bereitgestellten Zugangsdaten unmittelbar mit Ihren Systemen verbindet. Sie ist einfach einzurichten und passt gut, wenn dem Fernzugriff keine technischen oder rechtlichen Hindernisse entgegenstehen.
Eine private Verbindung kommt zum Einsatz, wenn ein unmittelbarer Zugriff nicht möglich ist, etwa weil das Quellsystem hinter einer Firewall steht oder aus dem öffentlichen Internet nicht erreichbar ist. Dann führt die Dawiso Integration Runtime (DIR) die Übernahme vor Ort aus, wobei die gesamte Netzwerkkommunikation ausgehend bleibt und vollständig bei Ihnen liegt.
Dawiso Integration Runtime (DIR): was es ist und wie es arbeitet
Die Dawiso Integration Runtime (DIR) ist ein kleines, aber leistungsfähiges Hilfsprogramm, mit dem die Übernahme von Metadaten aus Ihrer eigenen Infrastruktur heraus läuft. Sie können es sich als den Weg vorstellen, auf dem Dawiso hineinreicht, ohne Ihre Umgebung tatsächlich zu betreten.
DIR verbindet sich über gängige Protokolle und Treiber mit Ihren Datenquellen: ODBC für Datenbanken wie SQL Server oder Snowflake und REST APIs für Werkzeuge wie Tableau oder Power BI. Einmal verbunden, liest es Metadaten aus, legt sie in strukturierten JSON-Dateien ab, komprimiert diese mit Gzip und sendet sie über HTTPS gesichert an Ihre Dawiso-Umgebung in der Cloud.
Bevor etwas gesendet wird, können Sie die Dateien einsehen und genau prüfen, was übertragen wird. Diese Durchsichtigkeit ist einer der wesentlichen Gründe, warum viele Kunden DIR wählen. Sie sehen vollständig, was wann geteilt wird.
DIR läuft unter Windows wie unter Linux und braucht wenig Hardware. Eine Maschine mit 2 vCPUs und 4 GB RAM genügt für übliche Fälle. Sie brauchen lediglich etwas Plattenplatz für Zwischendateien und eine Internetverbindung zur Ingestion-API von Dawiso. Falls .NET 8 nicht installiert ist, gibt es eine eigenständige Fassung von DIR, die ohne Administratorrechte auskommt.
Weitere Funktionen: Rückschreiben und Export
Dawiso fängt beim Sammeln von Metadaten erst an. Es kann Metadaten auch in externe Werkzeuge zurückschreiben. Wenn Sie etwa ein Feld in Dawiso dokumentieren (also erklären, was „Zinsmarge“ bedeutet), lässt sich diese Beschreibung nach Tableau zurückgeben, sodass die dortigen Nutzer von derselben einheitlichen Definition profitieren. Dieses Rückschreiben läuft über dieselben Grundsätze der REST API.
Teams, die lieber mit Excel arbeiten, können Metadaten in Dawiso sowohl als Tabelle exportieren als auch wieder importieren. Sie exportieren Metadaten in eine Tabelle, bearbeiten sie von Hand und spielen sie zurück in die Plattform. Das hilft, wenn ein unmittelbarer Zugriff auf die Datenbank nicht möglich ist oder wenn Sie Vorlagen für Metadaten an die Fachbereiche zur Ergänzung verteilen wollen.
Zusammenfassung
Die Architektur der Datenübernahme von Dawiso ist auf größtmögliche Anpassungsfähigkeit angelegt, ob Sie vollständig in der Cloud arbeiten oder hinter mehreren Schichten eigener Sicherheit. Mit beweglichen Mustern für Push- und Pull-Übernahme, der Unterstützung geteilter und privater Verbindungen und dem DIR-Modul für sicheres Auslesen vor Ort gibt Dawiso Datenteams starke Werkzeuge an die Hand, um Metadaten sicher, effizient und zu ihren eigenen Bedingungen in einem einheitlichen Katalog zusammenzuführen.
