Was ist KI-Observability?

KI-Observability ist die Praxis, das Verhalten von KI-Systemen in Produktion fortlaufend zu überwachen, zu messen und zu verstehen. Sie umfasst nicht nur die Gesundheit der Infrastruktur (Latenz, Verfügbarkeit, Kosten), sondern die Qualität der KI-Ausgaben: Sind die Antworten zutreffend, relevant, sicher und im Einklang mit den gesteuerten Daten, die die KI verwenden soll? Sie überträgt das Konzept der Data Observability auf die KI-Ebene, weil KI-Systeme Fehlermuster mitbringen, die klassische Überwachung nicht erkennen kann.

Der Bedarf an KI-Observability ist schnell gewachsen, während Unternehmen vom Experimentieren zu KI in Produktion übergegangen sind. Ein BI-Dashboard, das falsche Daten zeigt, fällt sofort auf, eine Zahl ist erkennbar falsch. Eine KI-Assistenz, die selbstsicher mit plausiblen, aber unzutreffenden Informationen antwortet, kann wochenlang unentdeckt arbeiten und dabei leise und in der Breite die Qualität von Entscheidungen untergraben. Observability ist die Disziplin, die das Verhalten eines KI-Systems sichtbar, messbar und verbesserbar macht.

KI-Observability im Überblick

Observability, aus der Systemtechnik entlehnt, bezeichnet die Fähigkeit, den inneren Zustand eines Systems aus seinen äußeren Ausgaben zu verstehen. In der KI heißt das, diese Fragen beantworten zu können: Warum hat das System diese Ausgabe erzeugt? Ist sie richtig? Stimmt sie mit dem Verhalten von gestern überein? Nutzt es die Datenquellen, die es nutzen soll?

KI-Observability umfasst typischerweise drei Ebenen:

• Observability der Infrastruktur. Latenz, Durchsatz, Fehlerraten, Gesundheit der Modellendpunkte, Auslastung von GPU und CPU, API-Kosten. Geteilt mit dem klassischen MLOps und der Observability von Software ähnlich. Notwendig, aber nicht hinreichend.
• Data Observability. Qualität, Aktualität und Verteilung der Daten, die in das KI-System fließen. Datendrift (Eingabeverteilungen verschieben sich über die Zeit), Fehler der Datenqualität in Trainings- oder Abrufpipelines und Schemaänderungen in Feature Stores. Diese Ebene verbindet KI-Observability mit Plattformen für Data Observability.
• Observability der Ausgabequalität. Qualität, Genauigkeit, Sicherheit und Relevanz der KI-Ausgaben. Erkennung von Halluzinationen, Bewertung der Faktentreue, Kennzahlen zu Verzerrung, Prüfungen auf Toxizität, Werte für die Relevanz der Antwort, Gültigkeit der Belege. Das ist die Ebene, die KI-Systemen eigen ist, und die am schwersten zu automatisierende.

KI-Observability im Vergleich zur klassischen Überwachung

Klassische Anwendungsüberwachung fragt: Läuft das System? Ist es schnell? Liefert es HTTP 200? Diese Fragen sind notwendig, verfehlen aber das wichtigste Fehlermuster von KI-Systemen: falsche Ausgaben, selbstsicher geliefert.

Ein KI-System kann makellose Verfügbarkeit haben, unter 100 ms Latenz und null API-Fehler, und dabei halluzinierte Tatsachen erzeugen, die geschäftliche Entscheidungen untergraben. Die klassische Überwachung meldet das System als gesund. Nur die Observability der Ausgabequalität deckt das Problem auf.

Zentrale Kennzahlen und Signale

KI-Observability spannt sich über ein breites Feld an Kennzahlen, und welche davon zählen, hängt von der Art der KI-Anwendung ab (LLM-Assistenz, Empfehlungssystem, Klassifikationsmodell und so weiter). Über die Arten hinweg verbreitet sind:

• Genauigkeit und Korrektheit. Bei Klassifikations- und Vorhersagemodellen: Precision, Recall und F1 gegen zurückgehaltene Label. Bei LLM-Ausgaben: Werte zur Faktentreue aus automatisierter Auswertung (LLM-as-judge) oder aus Stichproben menschlicher Prüfung.
• Relevanz der Ausgabe. Bei LLM-Systemen auf Basis von RAG: Treue (ist die Antwort im abgerufenen Kontext geerdet?) und Relevanz der Antwort (geht die Antwort auf die Frage ein?). Rahmenwerke wie RAGAs liefern für beides einheitliche Kennzahlen.
• Kennzahlen zur Drift. Drift der Eingaben (verschiebt sich die Verteilung der gestellten Fragen?), Drift der Ausgaben (werden Antworten länger, kürzer oder anders im Ton?) und Datendrift (werden die Dokumente, die das RAG-System abruft, für die aktuellen Abfragen weniger relevant?).
• Kosten und Wirtschaftlichkeit. Token-Verbrauch je Abfrage, Kosten je erfolgreicher Antwort, Verteilung der Latenz. Entscheidend für die Ökonomie im Produktivbetrieb.
• Kennzahlen zur Sicherheit. Raten der Toxizität, Versuche der Prompt Injection, Raten von Richtlinienverstößen, Vorfälle mit Abfluss personenbezogener Daten.

Besonderheiten der LLM-Observability

LLM bringen Anforderungen an die Observability mit, die sich von klassischen ML-Modellen unterscheiden. Einblick auf Ebene der einzelnen Spur, also die Möglichkeit, jeden Schritt eines mehrstufigen LLM-Ablaufs zu prüfen, ist für Fehlersuche und Verbesserung unerlässlich.

Die wichtigsten Bausteine der Observability, die LLM eigen sind:

• Verfolgung der Prompts. Protokollieren Sie jeden Prompt, der an das Modell geht, samt System-Prompt, abgerufenen Kontextabschnitten (bei RAG), Gesprächsverlauf und Ergebnissen der Werkzeugaufrufe. Ohne das ist die Fehlersuche, warum das Modell eine bestimmte Ausgabe erzeugt hat, reine Raterei.
• Protokoll der Werkzeugaufrufe. Bei agentischen LLM-Systemen, die externe Werkzeuge aufrufen (SQL-Ausführung, API-Aufrufe, Dateizugriffe), gehören jeder Werkzeugaufruf und sein Ergebnis ins Protokoll. Besonders wichtig ist das in Systemen mit mehreren Agenten, wo sich Werkzeugaufrufe über mehrere Agenten erstrecken.
• Qualität des Abrufs. Überwachen Sie bei RAG-Systemen, ob die abgerufenen Dokumente für die Abfrage tatsächlich relevant sind, ob der Abruf veraltete Inhalte liefert und ob die Vektordatenbank die richtigen Dokumente enthält.
• Muster auf Ebene der Sitzung. Verdichten Sie Kennzahlen je Abfrage zu Mustern auf Ebene der Sitzung und des Nutzers, um zu erkennen, wenn bestimmte Arten von Abfragen dauerhaft schlechter abschneiden.

Governance und Compliance

KI-Observability ist nicht nur ein technisches Anliegen, sie ist eine Anforderung der Governance. Regulierungen wie der EU AI Act und DORA sowie branchenspezifische Vorgaben von Finanzaufsichten (FCA, BaFin, OCC) verlangen, dass Unternehmen, die KI in Kontexten mit hohem Risiko einsetzen, nachweisen können, dass die KI sich wie beabsichtigt verhält, dass ihre Ausgaben auf Qualität überwacht werden und dass es einen dokumentierten Prozess gibt, um Verschlechterungen zu erkennen und auf sie zu reagieren.

Der Schnittpunkt von KI-Observability und Data Governance ist die Datenqualität der Eingaben für Training und Abruf. Ein Programm für KI-Observability, das die Ausgabequalität überwacht, ohne die Daten zu überwachen, die in das KI-System fließen, beobachtet Symptome und übergeht Ursachen. Prüfungen der Datenqualität an Abrufpipelines, Feature Stores und Datensätzen für das Fine-Tuning gehören in denselben Rahmen der Governance wie die Überwachung der Ausgabequalität.

Vorgehen bei der Einführung

KI-Observability aufzubauen gelingt am ehesten als geschichtete Fähigkeit, Schritt für Schritt ergänzt:

• Mit Infrastruktur und Kosten beginnen. Latenz, Fehlerraten und Token-Kosten zu instrumentieren ist am einfachsten, und dafür gibt es bereits ausgereifte Werkzeuge (Überwachung beim Cloud-Anbieter, OpenTelemetry).
• Protokollierung der Spuren ergänzen. Instrumentieren Sie jeden LLM-Aufruf so, dass Prompt, Kontext, Antwort und Metadaten des Modells in einen abfragbaren Speicher wandern. Werkzeuge wie LangSmith, Langfuse und Helicone liefern das für LangChain und ähnliche Rahmenwerke von Haus aus.
• Automatisierte Auswertung der Qualität einführen. Richten Sie automatisierte Auswertungspipelines ein, die täglich auf Stichproben produktiver Ausgaben laufen: Prüfungen der Faktentreue, Bewertung der Relevanz, Scans auf Sicherheit. Nutzen Sie die Ergebnisse, um Ausgangswerte für die Qualität festzulegen.
• Alarme für Drift bauen. Überwachen Sie Verteilungen von Eingaben und Ausgaben gegen rollierende Ausgangswerte. Schlagen Sie Alarm, wenn die statistische Drift Schwellen überschreitet, und leiten Sie ihn zur Untersuchung an die Daten- und KI-Teams.
• Mit Data Governance verbinden. Verknüpfen Sie die Kennzahlen der KI-Observability mit dem Datenkatalog: Zeigen Sie Qualitätswerte der Abrufpipelines neben denen der Datensätze, damit sich die Qualität der KI bis zur Datenqualität an der Quelle zurückverfolgen lässt.

Fazit

KI-Observability ist die Disziplin, die KI-Systeme in Produktion vertrauenswürdig macht. Während Unternehmen KI von Pilotprojekten in produktive Arbeitslasten überführen und während Aufsichtsbehörden KI-Systeme in heiklen Zusammenhängen strenger prüfen, wird die Fähigkeit, das Verhalten einer KI zu überwachen, zu erklären und zu verbessern, zu einer geschäftlichen Notwendigkeit und zu einer Frage der Compliance. Wer heute eine vollständige Infrastruktur für KI-Observability aufbaut, kann KI mit Zuversicht einsetzen, Anwendungsfälle verantwortungsvoll ausweiten und die Nachweise vorlegen, wenn eine Aufsicht danach fragt.