Was ist ein Data Warehouse? Der zentrale Speicher für Ihre Daten
Aktualisiert · Veröffentlicht
Ein Data Warehouse dient als zentrale Drehscheibe, die Informationen aus verschiedenen Quellen für eine einfache Analyse ordnet. Es ist wie eine riesige, durchsuchbare Tabelle, mit der Sie Trends erkennen, Leistung verfolgen und datenbasierte Entscheidungen für das ganze Unternehmen treffen können. Aufbau und Pflege eines Data Warehouse erfordern jedoch Data Governance, damit Sie nicht in die teure Falle isolierter Daten und wiederholter Neuaufbauten geraten. In diesem Artikel lernen Sie seine Merkmale kennen, wie Sie teure Neuaufbauten vermeiden und wie Data Governance mit der Kapitalrendite (ROI) zusammenhängt.
Was ist ein Data Warehouse?
Ein Data Warehouse, oft als DWH abgekürzt, ist ein zentraler Speicher, der Daten aus dem gesamten Unternehmen sammelt, die Unterschiede zwischen diesen Quellen ausgleicht und sie in einer Struktur ablegt, die für die Analyse gebaut ist statt für das Tagesgeschäft. Hier bewahrt ein Unternehmen die Fassung seiner Zahlen auf, auf die sich alle einigen sollen.
Ein Data Warehouse ist eine themenorientierte, integrierte, zeitbezogene und nicht flüchtige Sammlung von Daten zur Unterstützung des Entscheidungsprozesses des Managements.
- W. H. Inmon, Building the Data Warehouse. Festgehalten im Glossar der Society of American Archivists
Diese vier Begriffe tragen die ganze Definition, deshalb lohnt es sich, sie aufzuschlüsseln. Themenorientiert heißt, dass es nach fachlichen Themen wie Kunden oder Vertrieb geordnet ist, nicht nach den Anwendungen, aus denen die Daten stammen. Integriert heißt, dass widersprüchliche Definitionen aus verschiedenen Quellsystemen auf dem Weg hinein aufgelöst werden, sodass ein Produkt ein Produkt ist. Zeitbezogen heißt, dass die Historie erhalten bleibt statt überschrieben zu werden, was die Analyse von Trends erst möglich macht. Nicht flüchtig heißt, dass geladene Daten nicht an Ort und Stelle bearbeitet werden, sodass ein zweimal ausgeführter Bericht dieselbe Antwort liefert.
Stellen Sie sich ein Unternehmen als riesigen Aktenschrank vor. Über die Jahre stapeln sich überall Dokumente: Verkaufsbelege, Marketingkampagnen und Finanzberichte. Sie sind alle wichtig, aber verstreut und unordentlich.
Das Data Warehouse sammelt Informationen aus allen Ecken des Unternehmens: Verkaufszahlen, Kundenkontakte, Besuche auf der Website und mehr. Doch das Besondere ist: Es wirft nicht einfach alles auf einen Haufen. Das Data Warehouse ordnet alles in einem zentralen, leicht zugänglichen System.
Die Stärke liegt in der Vereinheitlichung. Indem das Data Warehouse all diese Daten zusammenführt, erlaubt es Ihnen, mit den richtigen Werkzeugen das große Ganze zu sehen. Sie können Trends erkennen, die Leistung über Abteilungen hinweg verfolgen und klügere Entscheidungen auf Grundlage echter Erkenntnisse treffen statt auf Vermutungen.
Kurz gesagt
Ein Data Warehouse ist ein zentraler Speicher, in dem Unternehmen große Datenmengen aus verschiedenen Quellen ablegen (Vertrieb, Marketing, Finanzen usw.).
Vereinheitlichte Daten ermöglichen leistungsfähige Analysen. Sie können Trends erkennen, die Leistung verfolgen und im ganzen Unternehmen datenbasierte Entscheidungen treffen.
Was ist der Unterschied zwischen einem Data Warehouse und einer Datenbank?
Data Warehouses und Datenbanken klingen vielleicht ähnlich, spielen in der Welt der Informationen aber jeweils eine eigene Rolle. So unterscheiden sie sich:
Der tägliche Betrieb gegenüber dem großen Ganzen
Eine Anwendungsdatenbank ist dafür optimiert, die täglichen Daten zu speichern und zu verwalten, die ein Unternehmen am Laufen halten. Das können Kundendaten für die Abwicklung von Bestellungen sein, Produktangaben für einen Onlineshop oder Finanztransaktionen. Datenbanken setzen auf Geschwindigkeit und Effizienz, damit der Betrieb reibungslos läuft.
Ein Data Warehouse dagegen dreht sich ganz um das große Ganze. Es übernimmt alle Daten aus verschiedenen Datenbanken, bereinigt sie und ordnet sie für die Analyse. Es geht nicht um das tägliche Geschäft, sondern darum, Trends aufzudecken, Muster zu erkennen und fundierte Entscheidungen zu treffen. Geschwindigkeit ist hier weniger entscheidend; am wichtigsten ist die Fähigkeit, große Datenmengen wirksam zu analysieren.
Auch ein DWH ist im Grunde nur eine riesige Datenbank, oft auf genau derselben Technik gebaut. Der Unterschied liegt darin, wie die Daten gespeichert werden, und vor allem darin, wie auf sie zugegriffen wird.
Sicherheit gegenüber Zugänglichkeit
Anwendungsdatenbanken setzen auf die Sicherheit der Daten. Weil sie operative Daten in Echtzeit halten, sind strenge Zugriffskontrollen unverzichtbar. Data Warehouses setzen in der Regel auf Zugänglichkeit für Analysten, die historische Trends untersuchen müssen.
Im Kern arbeiten Datenbanken und Data Warehouses zusammen. Datenbanken wickeln die täglichen Transaktionen ab, während Data Warehouses den Kontext für aufschlussreiche Analysen liefern (es muss nicht nur historischer Kontext sein. Alle Kundendaten an einem Ort zu haben, kann wertvollen Kontext liefern.). Sie sind wie Partner, die jeweils eine entscheidende Rolle dabei spielen, dass Unternehmen das Beste aus ihren wertvollen Daten machen.
Wo Data Lake und Lakehouse hineinpassen
In den meisten modernen Landschaften stehen zwei weitere Begriffe neben dem Data Warehouse, und der Unterschied zwischen allen vier Begriffen ist einfacher, als das Vokabular vermuten lässt. Es kommt darauf an, wann die Daten ihre Struktur erhalten und was Ihnen das bringt.
| System | Gebaut für | Wann die Struktur angewendet wird | Der Kompromiss |
|---|---|---|---|
| Anwendungsdatenbank | Den Betrieb des Geschäfts, Datensatz für Datensatz | Beim Schreiben, und das Schema ändert sich selten | Schnelle, verlässliche Transaktionen. Nicht dafür gebaut, Fragen über Jahre der Historie hinweg zu beantworten |
| Data Warehouse | Analyse und Berichte, auf die sich alle einigen können | Beim Schreiben, nach Bereinigung und Modellierung | Einheitlichkeit und Prüfbarkeit. Neue Daten hineinzubringen, erfordert echte Arbeit an der Modellierung |
| Data Lake | Alles günstig speichern, auch rohe und unstrukturierte Dateien | Beim Lesen, durch den jeweils Abfragenden | Flexibilität und geringe Speicherkosten. Ohne Governance wird er zum Sumpf, dem niemand traut |
| Data Lakehouse | Beide Aufgaben auf einer Kopie der Daten | Beim Lesen, aber mit einem Tabellenformat, das die Garantien eines Data Warehouse ergänzt | Vermeidet, zwei Kopien synchron zu halten. Jünger, und die Garantien hängen vom gewählten Tabellenformat ab |
Das Lakehouse ist der jüngste der vier Begriffe. Er wurde 2021 in einem Forschungsbeitrag von Matei Zaharia, Ali Ghodsi, Reynold Xin und Michael Armbrust geprägt, der den günstigen, offenen Speicher eines Data Lake mit den Transaktionen und der Leistung eines Data Warehouse verbinden wollte und dafür offene Tabellenformate wie Apache Iceberg und Delta Lake nutzte, um die Garantien zu ergänzen, die rohen Dateien fehlen.
Nichts davon macht das Data Warehouse überflüssig. Berichte, die sich abstimmen lassen, ein Quartal abschließen oder eine Prüfung überstehen müssen, brauchen weiterhin Daten, die modelliert wurden, bevor sie ankamen. In der Praxis existiert meist beides, und die Frage lautet dann nicht mehr, welche Architektur man wählt, sondern ob noch jemand erklären kann, was die Zahlen in einem der beiden bedeuten.
Ein Data Warehouse neu aufbauen
Wir haben ein rosiges Bild vom Data Warehouse gezeichnet, als zentralem Hort für wertvolle Erkenntnisse. Doch die Wahrheit ist, dass Aufbau und Pflege eines Data Warehouse ein komplexer und frustrierender Weg sein können. Eine große Herausforderung für Unternehmen ist der wiederholte Neuaufbau, den ein Fehler im Datenmanagement erzwingt.
Data Warehouses versprechen einen zentralen Ort, an dem sich alle Erkenntnisse des Unternehmens finden. Doch manchmal verirren sich Unternehmen selbst nach dem Aufbau in einem Labyrinth nutzloser Daten. Wie kommt es dazu?
Stellen Sie sich ein Data Warehouse wie einen gut geordneten Aktenschrank vor. Alles ist sauber einsortiert und leicht zu finden. Doch mit der Zeit wird es unordentlich. Ständige Änderungen brechen das gut entworfene Datenbankmodell, Namenskonventionen werden nicht eingehalten. Neue Informationen werden hineingeworfen, ohne dem Ablagesystem zu folgen. Menschen beginnen, für dieselben Dinge unterschiedliche Namen zu verwenden, sodass sich nicht mehr finden lässt, was man braucht.
Genau das passiert mit manchen Data Warehouses. Neue Daten kommen ohne die nötige Sorgfalt hinzu, sodass sie schwer zu verstehen und zu analysieren sind. Stellen Sie sich vor, Sie suchen einen bestimmten Bericht und finden statt klarer Ordner einen Stapel Papiere mit zufälligen Beschriftungen. Das passiert, wenn Datenqualität und Einheitlichkeit vernachlässigt werden.
Dieses Auseinanderdriften hat einen Namen, sobald man es misst. Schema-Drift ist die Lücke zwischen dem Modell, wie es entworfen wurde, und dem Modell, wie es jetzt ist, und sie wächst unbemerkt, weil am Tag ihres Entstehens nichts kaputtgeht. Sie zeigt sich erst später, wenn zwei Berichte nicht übereinstimmen und niemand sagen kann, welcher dem ursprünglichen Entwurf folgte.
Warum der Neuaufbau Ihres Data Warehouse Ihr Budget versenken kann
Die Kosten für den Aufbau eines Data Warehouse schwanken zwischen Unternehmen zu stark, als dass eine genannte Zahl etwas bedeuten würde, denn sie hängen von der Datenmenge ab, davon, wie viele Quellsysteme abgeglichen werden müssen, und davon, wie viel der Modellierung von Grund auf zu leisten ist. Einheitlich ist die Form des Verlusts. Ein Neuaufbau bezahlt ein zweites Mal für Arbeit, die bereits einmal geleistet wurde, und er tut das, weil das Wissen, das den ersten Aufbau funktionieren ließ, also was jedes Feld bedeutet, wem es gehört und warum es so modelliert wurde, in Menschen lag statt an einem dauerhaften Ort.
Der Aufbau eines Data Warehouse kann eine beträchtliche Investition sein. Data Governance erfordert zwar eine anfängliche Investition in Werkzeuge und Prozesse, doch sie verblasst gegenüber den Kosten, ein fehlerhaftes Data Warehouse neu aufzubauen. Betrachten Sie Data Governance als Vorsorge, die Ihnen auf lange Sicht Geld spart.
Doch der wahre Wert von Data Governance reicht über reine Kosteneinsparungen hinaus. Sie liefert eine messbare Kapitalrendite (ROI).
Konkret halten drei Dinge ein Data Warehouse davon ab, bis zum Neuaufbau zu verfallen. Ein Datenkatalog hält fest, was existiert und wem es gehört, sodass das Wissen die Menschen überdauert, die zum Projekt kamen. Ein Business Glossary legt je Fachbegriff eine Definition fest, sodass derselbe Begriff nicht unter einem zweiten Namen wieder auftaucht. Und Data Lineage verfolgt jede Zahl bis zu ihrer Quelle zurück, sodass eine Abweichung zwischen zwei Berichten eine Frage mit Antwort ist statt eines Streits.
Es gibt einen neueren Grund, sich um alle drei zu kümmern. KI-Assistenten und Agenten fragen Data Warehouses inzwischen direkt ab, und ein Agent hat keine Kollegin, die er fragen könnte, was eine Spalte bedeutet. Er handelt nach dem, was die Metadaten sagen, deshalb sind Definitionen, die nur im Kopf einer Modelliererin existieren, nicht mehr nur ein Risiko für die Pflege, sondern der Unterschied zwischen einer fundierten Antwort und einer selbstsicheren falschen.
Konzentrieren Sie sich auf Data Governance und optimieren Sie die vorhandene Infrastruktur, damit Sie nicht zu viel für neue Data Warehouses ausgeben.
FAQ
Was ist ein Data Warehouse?
Wofür steht DWH?
Was ist der Unterschied zwischen einem Data Warehouse und einer Datenbank?
Was ist der Unterschied zwischen einem Data Warehouse und einem Data Lake?
Ist ein Data Warehouse neben Lakehouses und KI noch relevant?
Warum bauen Unternehmen ihr Data Warehouse am Ende neu auf?
Quellen
- Society of American Archivists - Definition eines Data Warehouse nach W. H. Inmon
- Society of American Archivists - Data warehouse, Wörterbucheintrag
- Matei Zaharia, Ali Ghodsi, Reynold Xin, Michael Armbrust - Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics, CIDR 2021
- Apache Software Foundation - Apache Iceberg
In Aktion erleben
Dawiso Data Catalog
Halten Sie Bedeutung, Zuständigkeit und Lineage Ihres Data Warehouse an einem Ort, damit es nie von Grund auf neu gebaut werden muss.
