20. August 2026

erklärbare KIXAIInterpretierbarkeitNIST IR 8312Transparenz der KIData LineageKI-Governance

Was ist erklärbare KI (XAI)?

Erklärbare KI (XAI) ist die Fähigkeit, nachzuvollziehen und zu begründen, wie ein System der KI zu einem bestimmten Ergebnis gekommen ist. Sie ist weniger eine Eigenschaft eines Modells als eine Eigenschaft eines Systems samt seiner Aufzeichnungen: Eine Erklärung muss standhalten, wenn jemand sie in Frage stellt, der nicht dabei war, Monate später und ohne Zugang zu der Person, die das System gebaut hat.

Erklärbarkeit ist vom Forschungsthema zur betrieblichen Anforderung geworden, weil sich das Publikum geändert hat. Die frühen Arbeiten zu XAI richteten sich an Data Scientists, die ihre eigenen Modelle untersuchten. Heute gehören zum Publikum eine Kundin, die abgelehnt wurde, eine interne Revision, die eine Kontrolle prüft, eine Aufsicht, die die Konformität bewertet, und zunehmend ein Gericht. Jede Seite braucht eine andere Erklärung derselben Entscheidung, und keine von ihnen akzeptiert ein Diagramm zur Wichtigkeit von Merkmalen als Antwort. Diese Verschiebung ist der Grund, warum Erklärbarkeit heute Prüfbarkeit heißt: Eingaben, Verarbeitung und Ausgaben so nachzuverfolgen, dass eine Überprüfung und eine Rechenschaft darauf aufbauen können.

TL;DR

Erklärbare KI (XAI) ist die Fähigkeit, ein Ergebnis der KI für ein bestimmtes Publikum nachzuvollziehen und zu begründen. NIST IR 8312 (September 2021) setzt vier Prinzipien: Das System liefert eine Erklärung, die Erklärung ist für ihren Empfänger verständlich, sie bildet den Ablauf des Systems zutreffend ab, und das System bleibt in den Grenzen seines Wissens. Erklärbarkeit ist nicht dasselbe wie Interpretierbarkeit: Ein von sich aus interpretierbares Modell braucht keine nachgelagerte Technik, während Techniken wie Merkmalsattribution, kontrafaktische Fälle und Ersatzmodelle ein undurchsichtiges Modell annähern. Das Recht verlangt sie zunehmend: Der EU AI Act gibt betroffenen Personen in Art. 86 KI-VO ein Recht auf klare und aussagekräftige Erklärung der Rolle des KI-Systems in bestimmten Entscheidungen mit hohem Risiko, und Art. 22 DSGVO begrenzt ausschließlich automatisierte Entscheidungen. Und eine Erklärung auf Modellebene ist für sich allein nicht prüfbar: Sie braucht die Datenschicht (was sie gespeist hat und was diese Felder bedeuten) und die Prozessschicht (Validierung, Freigaben, Historie der Änderungen), die Data Lineage und ein Glossar liefern.

Erklärbare KI im Überblick

Eine Erklärung ist eine Behauptung über Ursachen, die ein bestimmtes Publikum nachprüfen kann. Diese Sicht macht zwei Dinge deutlich, die in technischen Debatten über XAI verloren gehen.

Erstens sind Erklärungen auf ihr Publikum bezogen. Eine Entwicklerin muss wissen, welche Merkmale die Ausgabe bewegt haben und ob das Modell sich auf einen Stellvertreter stützt, auf den es sich nicht stützen dürfte. Eine Antragstellerin für einen Kredit muss wissen, was an ihrem Antrag die Entscheidung getragen hat und was sie ändern müsste. Eine Revision muss wissen, dass der Prozess eingehalten wurde und dass dieselbe Eingabe dieselbe Ausgabe ergäbe. Eine Aufsicht muss wissen, dass das System bewertet, dokumentiert und beaufsichtigt wurde. Ein einziges Artefakt zu erzeugen und es „die Erklärung“ zu nennen, bedient höchstens eine dieser Seiten.

Zweitens verfallen Erklärungen, wenn sie nicht festgehalten werden. Die Version des Modells, die die Entscheidung im vergangenen März erzeugt hat, gibt es womöglich nicht mehr. Die Referenzdaten, die sie verbraucht hat, haben sich geändert. Der Prompt wurde viermal überarbeitet. Lässt sich eine Erklärung nur dadurch wiederherstellen, dass man das System in seinem heutigen Zustand erneut laufen lässt, dann ist sie keine Erklärung dessen, was geschehen ist, sondern eine plausible Rekonstruktion. Und der Unterschied zählt genau dann, wenn jemand das Ergebnis anficht.

Deshalb behandeln reife Programme die Erklärbarkeit als Pflicht über den Lebenszyklus und nicht als eine Technik der Modellierung. Die Anforderung wird bei der Aufnahme festgelegt, in das System hineinentworfen und fortlaufend belegt.

Die vier Prinzipien des NIST

Die brauchbarste Festlegung dessen, was eine Erklärung erfüllen muss, stammt aus dem Bericht des NIST Four Principles of Explainable Artificial Intelligence, also vier Prinzipien für erklärbare Künstliche Intelligenz (NIST IR 8312, veröffentlicht am 29. September 2021). Seine vier Prinzipien lauten, dass das System eine Erklärung liefert, dass die Erklärung für Menschen verständlich ist, dass die Erklärung den Ablauf des Systems zutreffend abbildet und dass das System die Grenzen seines Wissens benennt.

Erklärung. Das System liefert begleitende Belege oder Gründe für seine Ausgaben. Das ist die Untergrenze, und es ist das Prinzip, das am häufigsten für sich allein erfüllt wird: ein Wert mit einem Diagramm daneben.
Verständlichkeit. Die Erklärung ist für die vorgesehenen Empfänger verständlich. Da die Empfänger sich unterscheiden, schuldet ein System, das mehrere Zielgruppen bedient, auch mehrere Erklärungen. Eine Erklärung, die nur eine Entwicklerin des Modells lesen kann, verfehlt dieses Prinzip für jede andere Zielgruppe.
Genauigkeit der Erklärung. Die Erklärung bildet den tatsächlichen Ablauf, mit dem das System die Ausgabe erzeugt, zutreffend ab. Das ist das Prinzip, an dem nachgelagerte Techniken zerren, denn eine Annäherung an die Schlussweise eines Modells kann plausibel und falsch zugleich sein. Das NIST merkt an, dass sich irreführende Erklärungen nachweislich konstruieren lassen, was ein starkes Argument dafür ist, eine Erklärung als etwas zu behandeln, das zu prüfen ist, statt ihr zu vertrauen, weil sie vernünftig aussieht.
Grenzen des Wissens. Das System arbeitet nur unter den Bedingungen, für die es ausgelegt wurde, und meldet, wenn ein Fall außerhalb davon liegt. Das ist das Prinzip, das die Erklärbarkeit mit der Sicherheit verbindet: Ein System, das außerhalb seiner Kompetenz selbstsicher antwortet, erzeugt Erklärungen für Ausgaben, die es nie hätte geben dürfen.

Die Reihe lohnt sich als Prüfliste, weil die vier Prinzipien unabhängig voneinander scheitern. Die meisten realen Systeme erfüllen das erste, ringen mit dem zweiten, prüfen das dritte selten und übergehen das vierte ganz.

Zum Vergrößern klicken

Erklärbarkeit und Interpretierbarkeit

Die beiden Wörter werden im Marketing gleichbedeutend verwendet und meinen in der Praxis Verschiedenes, und der Unterschied treibt eine Entwurfsentscheidung, die man bewusst treffen sollte.

Interpretierbarkeit ist eine Eigenschaft des Modells selbst. Ein lineares Modell, ein kleiner Entscheidungsbaum oder eine Scorecard lassen sich unmittelbar lesen: Der Mechanismus ist die Erklärung. Nichts wird angenähert.
Erklärbarkeit ist das, was Sie um ein Modell herum ergänzen, dessen Mechanismus sich nicht lesen lässt. Nachgelagerte Techniken erzeugen eine Darstellung des Verhaltens des Modells, die von ihrer Bauart her eine Annäherung ist.

Die Abwägung ist real, wird aber häufig übertrieben. Ein interpretierbares Modell gibt etwas Vorhersagegüte ab und gewinnt eine Erklärung, die über sich selbst nicht falsch sein kann, was bei folgenschweren Entscheidungen über Menschen oft der bessere Tausch ist. Das ist ebenso sehr eine Frage der Stufung wie eine der Modellierung: Für einen Anwendungsfall der obersten Stufe, in dem einzelne Ausgaben gegenüber der betroffenen Person begründet werden müssen, kann ein von sich aus interpretierbares Modell billiger sein, als eine Schicht der Erklärung über einem undurchsichtigen Modell zu bauen, zu prüfen und zu pflegen. Wo diese Entscheidung im Prozess hingehört, steht unter Risikostufen für KI.

Generative Systeme verkomplizieren das Bild weiter, denn eine flüssige Begründung in natürlicher Sprache ist kein Beleg. Ein Sprachmodell, das man fragt, warum es eine Antwort erzeugt hat, wird eine plausible Darstellung erzeugen, und diese Darstellung entsteht auf demselben Weg wie die Antwort: Sie ist kein Auslesen der Berechnung. Bei Anwendungen mit einem LLM liegt die prüfbare Erklärung meist außerhalb des Modells, nämlich darin, welche Dokumente abgerufen wurden, welche gesteuerten Definitionen im Kontext standen, welche Werkzeuge aufgerufen wurden und was das System tun durfte. Das ist Grounding und Nachverfolgbarkeit, keine Selbstbeobachtung.

Wie Erklärungen entstehen

Die Familien der Techniken lohnen sich auf der Ebene der Frage, die jede beantwortet, und der Stelle, an der jede bricht.

Merkmalsattribution. Welche Eingaben haben diese Ausgabe bewegt, und wie stark. Nützlich und weit verbreitet. Sie bricht, wenn Merkmale korreliert sind, denn dann verteilt die Attribution den Anteil auf eine Weise, die sich kausal liest und es nicht ist, und sie sagt nichts darüber, was das Ergebnis verändert hätte.
Kontrafaktische Fälle. Die kleinste Änderung an der Eingabe, die die Ausgabe gekippt hätte. Für eine betroffene Person ist das meist die verständlichste Erklärung, weil sie handlungsfähig macht. Sie bricht, wenn die vorgeschlagene Änderung nichts ist, worauf die Person Einfluss hat, oder wenn sie ein Stellvertreter für ein geschütztes Merkmal ist.
Ersatzmodelle. Ein einfaches, lesbares Modell an das Verhalten des komplexen Modells anpassen, lokal oder global. Billig und anschaulich, und die Technik, die dem Prinzip der Genauigkeit am stärksten ausgesetzt ist: Ein Ersatzmodell kann die Ausgaben des Modells auf den beobachteten Daten treffen und genau dort abweichen, wo es darauf ankommt.
Erklärung über Beispiele. Die ähnlichsten Fälle aus dem Training zeigen, oder die einflussreichen. Konkret und anschaulich, mit einer offensichtlichen Gefahr für die Privatsphäre, wenn die Beispiele die Datensätze echter Menschen sind.
Artefakte der Dokumentation. Model Cards, Datenblätter und Erklärungen zum vorgesehenen Zweck. Das sind keine Erklärungen je Entscheidung, doch sie tragen das Prinzip der Wissensgrenzen besser als jede Technik je Entscheidung, und sie sind das, was eine Konformitätsbewertung tatsächlich liest.

Keine davon reicht allein, und dass sie nicht geprüft werden, ist die systematische Schwäche. Eine Erklärung ist eine Behauptung, und Behauptungen gehören geprüft: ob die Erklärung unter kleinen Änderungen der Eingabe stabil bleibt, ob sie über Techniken hinweg übereinstimmt und ob die Zielgruppe, an die sie sich richtet, tatsächlich auf ihrer Grundlage handeln kann.

Wo das Recht sie verlangt

Die Erklärbarkeit ist in mehreren einander überlappenden Regelwerken von der guten Praxis zur Pflicht geworden. Die Einzelheiten zählen, denn der Anwendungsbereich ist enger, als die Schlagzeilen nahelegen, und die praktische Last ist breiter.

EU AI Act, Art. 86 KI-VO. Eine Person, die von einer Entscheidung betroffen ist, die ein Betreiber auf der Grundlage der Ausgabe eines KI-Systems mit hohem Risiko getroffen hat, hat das Recht auf klare und aussagekräftige Erklärungen zur Rolle des KI-Systems im Verfahren der Entscheidungsfindung, sofern die Entscheidung Rechtswirkung entfaltet oder sie in ihrer Gesundheit, ihrer Sicherheit oder ihren Grundrechten erheblich beeinträchtigt. Das Recht gilt für die in Anhang III genannten Systeme mit hohem Risiko, ausgenommen Nummer 2, und es gilt nicht, wo das Unionsrecht oder das nationale Recht eine Ausnahme vorsieht. Beachten Sie, wonach es fragt: nach der Rolle des KI-Systems im Verfahren, und das ist ebenso sehr eine Erklärung des Prozesses wie eine technische.
Pflichten des EU AI Act zu Transparenz und Dokumentation. Systeme mit hohem Risiko müssen so ausgelegt sein, dass Betreiber die Ausgabe deuten und sachgerecht nutzen können, mit einer technischen Dokumentation und Aufzeichnungen, die dazu passen. Hier legt der AI Act den größten Teil der tatsächlichen Last auf das Engineering.
Art. 22 DSGVO. Entscheidungen, die ausschließlich auf einer automatisierten Verarbeitung einschließlich Profiling beruhen und Rechtswirkung entfalten oder eine Person in ähnlicher Weise erheblich beeinträchtigen, sind beschränkt; und wo sie zulässig sind, muss der Verantwortliche Schutzmaßnahmen umsetzen, darunter das Recht auf Eingreifen eines Menschen, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung. Eine Entscheidung anzufechten, deren Grundlage man nicht sehen kann, ist nicht wirksam, und deshalb wirkt Art. 22 DSGVO in der Praxis als Anforderung an die Erklärbarkeit.
Regeln der Branchen. Kredit, Versicherung, Beschäftigung und Gesundheit tragen jeweils eigene Pflichten zur Begründung nachteiliger Entscheidungen, die älter sind als die KI und unverändert für sie gelten. Im Bankwesen verlangen die Erwartungen an das Model Risk Management bereits ein dokumentiertes Verständnis des Ansatzes und der Grenzen eines Modells.

Das Muster über alle hinweg: Das Recht verlangt eine Erklärung, die eine bestimmte Person nutzen kann, geliefert in dem Moment, in dem sie zählt, mit einer Aufzeichnung, die danach Bestand hat. Das ist eine Fähigkeit der Governance, keine Bibliothek.

Erklärbarkeit braucht Lineage

Hier liegt die Lücke, an der die meisten Programme zur Erklärbarkeit scheitern. Ein Team investiert in die Erklärung auf Modellebene, erzeugt gute Attributionen und kann dann die erste Frage einer Revision nicht beantworten: Aus welchen Daten wurde das berechnet, und was bedeuteten diese Felder damals?

Eine Erklärung, die die Datenschicht auslässt, ist nicht widerlegbar. Wenn niemand feststellen kann, aus welcher Quelle ein Merkmal kam, ob es die maßgebliche war, welche Transformationen es durchlaufen hat oder ob sich die Definition des zugrunde liegenden Begriffs vor sechs Monaten geändert hat, dann erzeugt keine noch so gute Interpretierbarkeit des Modells eine prüfbare Darstellung. Zwei Systeme können „Kundenbindungsdauer“ verschieden berechnen und dabei für sich genommen beide erklärbar sein, während sie einander widersprechen, und die Erklärung für den Widerspruch liegt vollständig in der Datenschicht.

Hier fügt sich Dawiso ein, und die Grenze lohnt es, ausgesprochen zu werden: Dawiso erzeugt keine Erklärungen für Modelle. Es liefert die beiden Schichten, die eine Erklärung eines Modells prüfbar machen. Die interaktive Lineage ist die Aufzeichnung der Herkunft, also was das System gespeist hat, durch welche Transformationen und aus welcher maßgeblichen Quelle, und sie ist dasselbe Artefakt, das die Fragen nach den Auswirkungen beantwortet, wenn sich weiter oben etwas ändert. Das Business Glossary hält die gesteuerte Definition jedes Begriffs, sodass eine Erklärung sich auf eine Bedeutung bezieht, auf die sich die Organisation geeinigt hat, und nicht auf einen Spaltennamen. Der Katalog hält fest, was maßgeblich war und wem es gehört, und die Klassifizierung hält fest, welche Eingaben sensibel waren. Zusammen mit der KI-Governance für die Prozessschicht macht das aus „wir können das Modell erklären“ ein „wir können die Entscheidung nachvollziehen und verteidigen“.

Fazit

Erklärbare KI versteht man am besten als Prüfbarkeit und nicht als Transparenz um ihrer selbst willen: als die Fähigkeit, ein Ergebnis nachzuvollziehen und es gegenüber demjenigen zu begründen, der fragt. Die vier Prinzipien des NIST setzen eine nützliche Latte, weil sie unabhängig voneinander scheitern: Eine Erklärung zu erzeugen ist leicht, sie verständlich zu machen ist schwerer, ihre Genauigkeit zu belegen wird selten versucht, und die Grenzen des Wissens zu benennen wird meist übersprungen. Die Regulierung hat an die ersten beiden inzwischen Rechte geknüpft, sodass die Latte für folgenschwere Systeme nicht mehr freiwillig ist. Was Programme, die sie nehmen können, von Programmen unterscheidet, die es nicht können, ist nicht die Wahl der Technik. Es ist die Frage, ob die Daten unter jeder Entscheidung der KI definiert, nachverfolgt und verantwortet waren, bevor irgendjemand sie erklären musste.