GraphRAG: Leitfaden zum Abruf über den Knowledge Graph

GraphRAG (Graph Retrieval-Augmented Generation) ist eine Architektur, die Knowledge Graphs mit Retrieval-Augmented Generation (RAG) verbindet, um großen Sprachmodellen zur Antwortzeit reicheren Kontext zu geben, der Beziehungen kennt. Während Standard-RAG Textabschnitte abruft, die einer Frage semantisch ähneln, ruft GraphRAG strukturierte Beziehungen aus dem Graphen ab: Entitäten, ihre Verbindungen und die Gruppen verwandter Begriffe, die sie bilden. Damit können LLMs über komplexe, miteinander verknüpfte Information schließen, die isolierte Abschnitte aus Dokumenten nicht abbilden können.

Was ist RAG?

Retrieval-Augmented Generation (RAG) ist eine Technik, die die Antwort eines LLM anreichert, indem sie zur Abfragezeit einschlägige Information aus einer externen Wissensbasis abruft und sie in das Kontextfenster des Modells legt. Statt sich allein auf das Wissen zu stützen, das beim Training in den Modellgewichten landete, holt ein System mit RAG aktuelle, konkrete Information und stellt sie neben die Frage des Nutzers.

Strecken mit Standard-RAG arbeiten in zwei Phasen. Zuerst werden Dokumente in Passagen zerlegt und in Vektordarstellungen eingebettet, die in einer Vektordatenbank liegen. Zur Abfragezeit wird die Frage des Nutzers eingebettet und per Kosinusähnlichkeit mit den gespeicherten Vektoren verglichen; die ähnlichsten Abschnitte werden abgerufen und dem Prompt für das LLM als Kontext vorangestellt. Das LLM erzeugt dann eine Antwort, die in diesem abgerufenen Kontext verankert ist.

RAG ist zum üblichen Muster für Anwendungen mit LLMs im Unternehmen geworden, weil es Antworten in konkreten, aktuellen Quellen verankert, statt sich auf möglicherweise veraltetes oder falsches Modellwissen zu verlassen. Standard-RAG hat allerdings eine grundlegende Grenze: Es ruft isolierte Textabschnitte ab, ohne die Beziehungen zwischen Entitäten zu verstehen, die über mehrere Dokumente hinweg genannt werden. Damit taugt es schlecht für Fragen, die Information über mehrere verbundene Begriffe hinweg zusammenführen müssen, also genau für die Fragen, die Nutzer im Unternehmen am häufigsten stellen.

Der Knowledge Graph

Ein Knowledge Graph ist eine strukturierte Darstellung von Entitäten und den Beziehungen zwischen ihnen, abgelegt als Graph, in dem Knoten für Entitäten stehen (Menschen, Organisationen, Produkte, Begriffe) und Kanten für Beziehungen (works_for, part_of, related_to, caused_by). Anders als relationale Datenbanken, die starre Schemata erzwingen, nehmen Knowledge Graphs verschiedenartige Typen von Entitäten und Beziehungen in einer flexiblen Struktur auf, die sich erweitern lässt, wenn neues Wissen dazukommt.

Knowledge Graphs sind stark darin, genau die verknüpfte Information abzubilden, die sich mit der Vektorsuche schlecht abrufen lässt: Hierarchien in Organisationen, Abhängigkeitsketten von Produkten, regulatorische Beziehungen, Ursachenketten von Ereignissen und Netze wissenschaftlicher Begriffe. Die Struktur des Graphen macht es möglich, Beziehungen abzulaufen, also von einer Entität auszugehen und Kanten zu verwandten Entitäten zu folgen. Das ermöglicht Abfragen, die mehrstufiges Schließen verlangen, statt eines einzigen Schritts über Ähnlichkeit.

Wie GraphRAG beides verbindet

GraphRAG baut in der Phase der Erschließung einen Knowledge Graph aus den Quelldokumenten auf, statt nur Vektoreinbettungen von Textabschnitten zu erzeugen. Mit einem LLM zieht GraphRAG Entitäten und Beziehungen aus dem Quelltext heraus und baut daraus einen Graphen, in dem Knoten für benannte Entitäten stehen (Menschen, Organisationen, Orte, Begriffe) und Kanten für die herausgezogenen Beziehungen zwischen ihnen. Dieser Graph wird dann beim Abruf genutzt, statt der Suche nach Vektorähnlichkeit oder zusätzlich zu ihr.

Die Phase der Erschließung wendet in GraphRAG außerdem Algorithmen zur Gruppenerkennung an, üblicherweise hierarchisches Leiden-Clustering, um Gruppen eng verwandter Entitäten im Graphen zu finden. Für jede Gruppe erzeugt GraphRAG eine Zusammenfassung, die die wichtigsten Themen und Beziehungen darin festhält. Diese Zusammenfassungen der Gruppen werden zu den Einheiten des Abrufs für globale Fragen: Statt einzelne Textabschnitte zu holen, ruft das System Zusammenfassungen ab, die zusammengeführtes Wissen über Gruppen verwandter Entitäten darstellen.

Zur Abfragezeit nutzt GraphRAG die Struktur des Graphen, um Kontext abzurufen, der Beziehungen kennt, statt nur semantisch ähnlich zu sein. Bei einer Frage zu einer bestimmten Entität läuft GraphRAG den Graphen ab, findet die Verbindungen der Entität und die Gruppe, zu der sie gehört, und gibt dem LLM sowohl die unmittelbar einschlägige Information als auch den weiteren Zusammenhang verwandter Entitäten und Themen. Siehe auch: Data Lineage dazu, wie Strukturen aus Graphen Beziehungen zwischen Daten verfolgen, und aktive Metadaten zu Graphen aus Metadaten in Datenplattformen im Unternehmen.

GraphRAG von Microsoft

Bekannt gemacht hat den Begriff GraphRAG die Forschungsabteilung von Microsoft, die 2024 das Papier „From Local to Global: A Graph RAG Approach to Query-Focused Summarisation“ veröffentlichte und eine quelloffene Umsetzung in Python freigab. Das System von Microsoft fand breite Verbreitung, weil es eine bekannte Grenze von Standard-RAG unmittelbar anging: die Unfähigkeit, „globale“ Fragen über große Bestände an Dokumenten zu beantworten, also Fragen wie „Was sind die Hauptthemen in dieser Sammlung?“ oder „Wie hängen diese Ereignisse zusammen?“, die Information über den gesamten Bestand hinweg zusammenführen müssen, statt örtlich einschlägige Abschnitte abzurufen.

Die Umsetzung von Microsoft zieht mit einem LLM beim Erschließen Entitäten und Beziehungen aus dem Quelltext heraus, baut daraus einen Graphen, wendet hierarchische Gruppenerkennung darauf an und erzeugt Zusammenfassungen der Gruppen auf mehreren Ebenen der Feinheit. Diese Zusammenfassungen dienen globalen Fragen, also Fragen über den ganzen Bestand, während das unmittelbare Ablaufen des Graphen lokalen Fragen dient, also Fragen zu bestimmten Entitäten.

Lokale und globale Suche

Die lokale Suche in GraphRAG dient Fragen zu bestimmten benannten Entitäten, also einer Person, einer Organisation, einem Produkt oder einem Ereignis. Das System findet die passende Entität im Graphen, ruft ihre Gruppe und ihre unmittelbaren Beziehungen ab und nutzt diesen um Beziehungen angereicherten Kontext im Prompt für das LLM. Das erzeugt Antworten, die im Netz der Verbindungen rund um die gefragte Entität verankert sind, statt nur in Textpassagen, in denen ihr Name zufällig vorkommt.

Die globale Suche dient Fragen nach breiten Themen, Mustern oder Zusammenfassungen über eine große Sammlung von Dokumenten. Standard-RAG ruft für solche Fragen einzelne Abschnitte ab und erzeugt oft unvollständige oder halluzinierte Antworten, weil kein einzelner Abschnitt das ganze Bild enthält. Die globale Suche in GraphRAG nutzt die hierarchischen Zusammenfassungen der Gruppen aus der Erschließung, um dem LLM eine strukturierte Zusammenführung der Kernthemen über den Bestand zu geben, und ermöglicht damit umfassende Antworten auf globale Fragen.

Die Wahl zwischen lokaler und globaler Suche fällt üblicherweise selbsttätig anhand einer Einordnung der Frage oder wird als ein vom Nutzer einstellbarer Parameter angeboten. Manche Umsetzungen gehen gemischt vor: Sie rufen Zusammenfassungen der Gruppen für den globalen Zusammenhang ab und daneben bestimmte Teilgraphen zu Entitäten für die lokale Tiefe, sodass das LLM Breite und Tiefe zugleich bekommt.

GraphRAG und Standard-RAG

Die praktischen Unterschiede zwischen GraphRAG und Standard-RAG zeigen sich in echten Szenarien für Frage und Antwort im Unternehmen:

• Mehrstufige Fragen: „Welche Folgen hat der Zukauf von Unternehmen Y durch Unternehmen X für die Lieferkette von Produkt Z?“ Standard-RAG tut sich schwer, weil die Antwort Information über mehrere Dokumente und Typen von Entitäten hinweg verbinden muss. GraphRAG läuft den Graphen von Unternehmen X zu Unternehmen Y und weiter zu ihren gemeinsamen Beziehungen zum Produkt ab und ruft den verbundenen Kontext ab, den das LLM braucht.
• Globale Zusammenfassungen: „Welche wesentlichen Risiken sind über alle unsere Vertragsdokumente hinweg benannt?“ Standard-RAG ruft einzelne Abschnitte aus Verträgen ab, kann aber nicht über den ganzen Bestand hinweg zusammenführen. Die Zusammenfassungen der Gruppen in GraphRAG halten Themen über Dokumente hinweg ausdrücklich fest.
• Entitäten auseinanderhalten: Dokumente nennen Entitäten oft unter mehreren Namen oder mit Fürwörtern. Das Herausziehen von Entitäten in GraphRAG löst das zu einheitlichen Identitäten im Graphen auf und verhindert, dass das LLM Verweise auf dieselbe Entität als verschiedene Entitäten behandelt.
• Schließen über Beziehungen: „Wer berichtet an den CTO und welche Projekte leiten diese Personen?“ Das verlangt ein Ablaufen von Beziehungen, das die Vektorähnlichkeit nicht leisten kann und ein Graph von Haus aus beherrscht.

Der Preis sind Aufwand und Komplexität der Erschließung. Das Erschließen bei Standard-RAG ist schnell und einfach: zerlegen, einbetten, ablegen. GraphRAG verlangt mehrere Aufrufe eines LLM, um Entitäten und Beziehungen herauszuziehen, dazu die Berechnung der Gruppenerkennung und das Erzeugen der Zusammenfassungen, was es deutlich teurer und langsamer macht. GraphRAG passt deshalb am besten zu Beständen an Dokumenten, bei denen die Struktur der Beziehungen den Aufwand der Erschließung wert ist: regulatorische Dokumente, Wissensbasen im Unternehmen, wissenschaftliche Literatur und Sammlungen von Verträgen.

Anwendungsfälle im Unternehmen

GraphRAG hat sich in mehreren Anwendungsfällen im Unternehmen durchgesetzt, in denen ein Abruf, der Beziehungen kennt, spürbare Vorteile gegenüber Standard-RAG bringt:

• Frage und Antwort zu Regulierung und Compliance: Teams für Compliance müssen beantworten, wie Regelwerke zusammenwirken, also welche Regeln in einem bestimmten Fall gelten, gegeben die regulatorischen Beziehungen zwischen Rechtsräumen, Rahmenwerken und Typen von Einrichtungen. Das Ablaufen des Graphen in GraphRAG ermöglicht dieses Schließen über Beziehungen.
• Wissensbasen im Unternehmen: Große Organisationen haben komplexes internes Wissen, verteilt über Wikis, Dokumente und Datenbanken. GraphRAG erlaubt Beschäftigten Fragen, die Abteilungen, Produktlinien und Zeiträume überspannen, und zwar auf eine Weise, mit der Standard-RAG nicht zurechtkommt.
• Wissenschaft und technische Forschung: Forschungsorganisationen nutzen GraphRAG, um große Mengen wissenschaftlicher Literatur abzufragen und Verbindungen zwischen Begriffen, Methoden und Ergebnissen zu finden, die dem Abruf einzelner Dokumente entgehen.
• Analyse von Verträgen: Rechtsabteilungen nutzen GraphRAG, um ganze Bestände an Verträgen zu untersuchen und Fragen nach Pflichten, Rechten und Risiken über das gesamte Portfolio zu stellen statt über einzelne Dokumente.
• Frage und Antwort zum Datenkatalog: Datenteams nutzen einen um Graphen angereicherten Abruf über Kataloge von Metadaten und stellen Fragen wie „Welche Tabellen leiten sich aus dieser Quelle ab und welche Modelle hängen davon ab?“, ein natürliches Problem für das Ablaufen eines Graphen. Hier treffen sich Graphen aus Metadaten und Graphen der Data Lineage mit GraphRAG.

Graphen aus Metadaten und Dawiso

Datenplattformen im Unternehmen erzeugen Knowledge Graphs von selbst als Teil ihrer Verwaltung von Metadaten: Graphen der Data Lineage verbinden Tabellen, Spalten und Transformationen; Business Glossaries schaffen Hierarchien von Begriffen; Taxonomien der Klassifizierung schaffen Bäume von Kategorien; und Strukturen der Verantwortung schaffen Graphen der Organisation. Diese Graphen aus Metadaten eignen sich gut für einen Abruf nach Art von GraphRAG, weil die Fragen der Nutzer zu Daten von Natur aus auf Beziehungen zielen: „Woher kommt diese Kennzahl?“, „Welche Datenbestände enthalten PII von Kunden?“, „Was ginge kaputt, wenn wir diese Tabelle ändern?“

Dawiso baut genau diese Art von Graph aus Metadaten und macht ihn zugänglich. Sein Graph der Data Lineage hält Beziehungen bis auf Spaltenebene über Ketten von Transformationen fest. Sein Business Glossary verknüpft technische Bestände mit fachlichen Begriffen. Seine Metadaten zu Klassifizierung und Governance schaffen ein reiches Netz von Entitäten über die gesamte Datenlandschaft. Diese Struktur ist die Grundlage für Datensuche und für Frage und Antwort mit KI, die über das hinausgehen, was Stichwortsuche oder Vektorähnlichkeit leisten können.

Der MCP Server von Dawiso erlaubt es KI-Agenten und LLMs, den Graphen aus Metadaten unmittelbar abzufragen, Beziehungen der Lineage abzulaufen, Verknüpfungen der Klassifizierung zu folgen und die Verbindungen zwischen Datenbeständen so zu verstehen, wie es ein Bewusstsein für Graphen verlangt und Textähnlichkeit nicht leistet. Damit steht Dawiso als Schicht für den Graphen aus Metadaten für Anwendungen mit GraphRAG im Unternehmen bereit, aufgesetzt auf den Datenkatalog, sodass Fragen wie „Welche Folgen für die Lineage hat diese Änderung weiter oben?“ von einem LLM mit angereichertem Kontext aus dem Graphen von Dawiso beantwortet werden.