Was sind unstrukturierte Daten?

Unstrukturierte Daten sind Informationen, die keinem vorab festgelegten Datenmodell und keinem Schema folgen: Sie haben keine feste Struktur, die eine relationale Datenbank von sich aus speichern könnte. Dokumente, E-Mails, PDFs, Bilder, Tonaufnahmen, Videodateien, Chatprotokolle, Beiträge in sozialen Medien und Maschinenprotokolle in Freitext sind allesamt unstrukturierte Daten. Sie tragen reiche fachliche Information, aber diese Information herauszuholen verlangt, den Inhalt zu lesen, statt ein Schema abzufragen.

Nach Menge beherrschen unstrukturierte Daten das Bild. Nach mehreren Schätzungen von Analysten sind 80 bis 90 % der Daten unstrukturiert, und KI-Systeme, Werkzeuge für Zusammenarbeit und IoT-Installationen erzeugen laufend mehr davon. Historisch hat sich die Auswertung aber meist auf den strukturierten Anteil beschränkt, also die Zeilen und Spalten, die in Datenbanken und Warehouses passen. KI verschiebt dieses Verhältnis erheblich.

Unstrukturierte Daten, definiert

Unstrukturierte Daten zeichnet aus, dass kein Schema den Aufbau des Inhalts vorwegnimmt. Es gibt keinen festen Satz benannter Felder, keine zugesicherten Datentypen und keinen eingebauten Weg, zwei Datensätze zu vergleichen, ohne beide zu lesen. Das steht im Gegensatz zu strukturierten Daten (Zeilen und Spalten in einer relationalen Tabelle) und zu halbstrukturierten Daten (JSON, XML, die eine gewisse Ordnung haben, aber ein bewegliches Schema).

Die bestimmende Schwierigkeit ist, dass unstrukturierte Daten erst im Kontext Bedeutung haben. Eine E-Mail aus dem Support kann eine Produktbeschwerde enthalten, eine Verkaufschance, eine technische Frage oder eine Aussage mit Bedeutung für die Compliance, und eine Datenbankabfrage allein kann nicht sagen, welches davon. Diesen Kontext herauszuholen verlangt eine Analyse des Inhalts: Textverständnis, Bilderkennung, Transkription von Ton oder andere Verfahren mit KI.

Arten unstrukturierter Daten

Unstrukturierte Daten treten in jeder Funktion eines modernen Unternehmens auf:

Unstrukturiert, strukturiert und halbstrukturiert

Das Spektrum zu verstehen hilft zu klären, wo sich Governance und Auswertung unterscheiden:

• Strukturierte Daten: Zeilen und Spalten mit vorab festgelegten Typen, also relationale Datenbanken, tabellarische CSV-Exporte, Tabellenblätter. Jeder Datensatz hat dieselbe Form. SQL-Abfragen greifen von sich aus. Leicht zu katalogisieren, zu profilieren und zu steuern.
• Halbstrukturierte Daten: bewegliche Schemata mit gewissen Ordnungsregeln, also JSON, XML. Die Felder wechseln von Datensatz zu Datensatz. Schema beim Lesen statt beim Schreiben. Zunehmend verbreitet in Antworten von APIs und in Ereignisströmen. Spalten- und zeilenorientierte Formate wie Parquet und Avro sind wieder etwas anderes: Es sind selbstbeschreibende Dateien, die ihr Schema in der Datei selbst mitführen.
• Unstrukturierte Daten: überhaupt kein vorab festgelegtes Schema. Der Inhalt muss gelesen werden, um Struktur zu gewinnen. Bedeutung hängt am Kontext. Governance verlangt Werkzeuge, die den Inhalt verstehen, und nicht bloß eine Prüfung des Schemas.

Die Grenzen verschwimmen zunehmend. Große Sprachmodelle können ein PDF lesen (unstrukturiert) und eine Zusammenfassung in JSON ausgeben (halbstrukturiert), die sich in einer relationalen Tabelle speichern lässt (strukturiert). Diese Kette, unstrukturiert hinein und strukturiert heraus, gehört zu den mächtigsten Mustern, die moderne KI eröffnet.

Hürden für die Governance

Unstrukturierte Daten zu steuern ist deutlich schwerer als strukturierte, aus zwei Gründen: Menge und Undurchsichtigkeit.

Die wichtigsten Hürden für die Governance:

• Auffinden: Unstrukturierte Bestände liegen verstreut über Dateisysteme, SharePoint-Seiten, E-Mail-Archive und Cloud-Speicher. Sie zu katalogisieren verlangt automatisches Durchsuchen und Auslesen des Inhalts.
• Klassifizierung: Sensible Inhalte zu erkennen (PII, personenbezogene Daten im Sinne der DSGVO, Geschäftsgeheimnisse) verlangt Klassifikatoren aus NLP und maschinellem Lernen, nicht die Typisierung einer Spalte. Cloud-Dienste wie Azure Language in Foundry Tools bieten das Extrahieren von PII aus freiem Text als Baustein an.
• Lineage: Nachzuvollziehen, wie ein Dokument zu einem nachgelagerten Bericht oder Modell beigetragen hat, ist begrifflich etwas anderes als die Lineage auf Spaltenebene in einer Pipeline. Die Herkunftsverfolgung von Dokumenten ist eine noch junge Fähigkeit.
• Zugriffskontrolle: Dateisysteme haben oft eine schwache Zugriffs-Governance. Beschäftigte erben weite Berechtigungen und legen sensible Dokumente ohne Vertraulichkeitsbezeichnungen in geteilten Laufwerken ab. Das zu bereinigen verlangt automatische Klassifizierung im großen Maßstab.
• Aufbewahrung: Legal Holds, Löschpflichten nach der DSGVO und Aufbewahrungsfristen gelten für unstrukturierte Daten genauso wie für strukturierte, aber sie durchzusetzen setzt voraus zu wissen, was in jeder Datei steht.

KI macht unstrukturierte Daten nutzbar

Dass unstrukturierte Daten vom toten Gewicht der Organisation zum auswertbaren Bestand werden, treibt vor allem die KI. Drei Fähigkeiten wirken am stärksten:

• Große Sprachmodelle (LLMs): LLMs können Text in großem Maßstab lesen, zusammenfassen, einordnen und strukturierte Angaben daraus gewinnen. Ein einziger Aufruf kann einen Vertrag über 20 Seiten in einen strukturierten JSON-Datensatz mit Kernbedingungen, Parteien und Fristen verwandeln. Auf Millionen Dokumente angewandt machen LLMs aus dem Dokumentenbestand eines Unternehmens eine abfragbare Wissensbasis.
• Bildverarbeitung: KI für Bild und Video kann Inhalte einordnen, Objekte erkennen, Text aus gescannten Dokumenten lesen (OCR) und heikle visuelle Inhalte markieren. Produktbilder werden nach visuellen Merkmalen durchsuchbar. Gescannte Rechnungen werden zu strukturierten Finanzdatensätzen.
• Sprache zu Text und Tonanalyse: Aufzeichnungen von Besprechungen und Kundengesprächen werden automatisch transkribiert, nach Themen sortiert und auf Stimmung hin ausgewertet. Verkaufsgespräche werden zu strukturierten Erkenntnissen über Kunden. Support-Gespräche werden zu Daten der Qualitätssicherung.

Das Muster ist immer dasselbe: KI nimmt unstrukturierte Inhalte auf, gewinnt strukturierte Metadaten daraus und stellt diese Metadaten Werkzeugen der Governance, Analyseplattformen und nachgelagerten KI-Systemen bereit. Heraus kommt ein Eintrag im Datenkatalog, der beschreibt, was das Dokument enthält, und nicht bloß, wo es liegt.

Im Unternehmen

Organisationen, welche die Data Governance unstrukturierter Daten planvoll angehen, gewinnen Fähigkeiten, die es nicht gibt, solange Dokumente als undurchsichtige Klumpen behandelt werden:

• Regulatorische Compliance: DSGVO und CCPA erfassen personenbezogene Daten unabhängig vom Format, auch in Dokumenten, E-Mails und Chatprotokollen; HIPAA gilt für Gesundheitsinformationen bei Covered Entities und deren Business Associates. Automatische Klassifizierung macht Compliance im großen Maßstab handhabbar.
• KI und RAG-Systeme: Systeme nach Retrieval-Augmented Generation (RAG) nutzen Dokumente des Unternehmens als Wissensbasis für KI-Assistenten. Die Güte der RAG-Ausgabe hängt ganz an der Güte des zugrunde liegenden Dokumentenbestands, was eine gesteuerte Aufnahme, Entdopplung und Relevanzbewertung verlangt.
• Wissensmanagement: Sind Dokumente, Berichte und Richtlinien mit KI-erzeugten Zusammenfassungen und Kennzeichen katalogisiert, finden Beschäftigte institutionelles Wissen, das zuvor in Dateiablagen begraben war.
• Auswertung im Betrieb: Die Analyse von Support-Tickets, die Risikobewertung von Verträgen und die Wirkung von Marketinginhalten sind allesamt Anwendungsfälle, die davon abhängen, unstrukturierte Inhalte abfragbar zu machen.

Fazit

Unstrukturierte Daten sind der größte Teil dessen, was Organisationen erzeugen und speichern, und waren historisch zugleich der am schwersten steuerbare und am schlechtesten auswertbare. KI verschiebt diese Rechnung grundlegend: Dieselben LLMs, die Chatbots im Unternehmen antreiben, können Dokumentenbestände in einem Maßstab katalogisieren, einordnen und zusammenfassen, der weit über jede Prüfung von Hand hinausgeht. Organisationen, die heute in die Governance ihrer unstrukturierten Daten investieren, ihre Kataloge erweitern, Klassifizierung mit KI anwenden und Zugriffskontrollen durchsetzen, bauen die Wissensinfrastruktur, die ihre Fähigkeit zur KI im nächsten Jahrzehnt bestimmen wird.

Quellen

• MIT Sloan School of Management, Tapping the power of unstructured data (2021; Schätzungen von Analysten, nach denen 80 bis 90 % der Daten unstrukturiert sind).
• Apache Parquet, File Format (die Metadaten der Datei, einschließlich des Schemas, werden in die Datei geschrieben).
• GDPR, Art. 4 GDPR - Definitions (personenbezogene Daten sind alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen).
• Legal Information Institute, 45 CFR § 160.102 - Applicability (die HIPAA-Standards gelten für Covered Entities und, wo vorgesehen, für Business Associates).
• Microsoft Learn, What is Azure Language in Foundry Tools
• Dawiso Help, PII Level and Confidentiality