Article

Explainable AI (XAI): Vertrauen durch Transparenz

Erklärbare künstliche Intelligenz zur Erfüllung regulatorischer Anforderungen

Künstliche Intelligenz eröffnet Unternehmen zahlreiche, neue Anwendungsmöglichkeiten. Doch zugleich steht sie auch unter Rechtfertigungsdruck: Entscheidungen durch KI werden als intransparent wahrgenommen, da sie gewissermaßen in einer „Black Box“ stattfindet. Um die Vertrauenswürdigkeit solcher Anwendungen zu gewährleisten, fordern Regulatoren und Gesetzgeber daher eine Nachvollziehbarkeit der Algorithmen. Dafür existieren verschiedene Methoden, die Deloitte im Explainable Artificial Intelligence Tool Lucid [ML] optimiert und kombiniert hat. In einem neuen Whitepaper erklären die Experten von Deloitte ihren Ansatz für eine erklärbare künstliche Intelligenz.

Die zukunftsweisenden Geschäftsmodelle der Digitalära beinhalten ultra-personalisierte Produkte, benötigen blitzschnelle Entscheidungen, setzen auf höchste Skalierbarkeit – und oft sind es KI-Anwendungen, durch die solche Anforderungen erfüllt werden. Zugleich treffen diese Anwendungen aber auch Entscheidungen in sensiblen Bereichen, deren Akzeptanz durch die Nutzer ein Vertrauen auf die eingesetzten Algorithmen voraussetzt. Und dieses Vertrauen wiederum ist nur möglich, wenn ein Verständnis der Funktionsweise der Algorithmen gegeben oder zumindest erreichbar ist. Dies gilt insbesondere in Risiko-Bereichen wie autonomes Fahren, algorithmische Kreditentscheidung in der Finanzwirtschaft oder bildgebende Verfahren in der Medizin. Eine grundsätzliche Verstehbarkeit von KI-Systemen, Algorithmen und maschinellem Lernen (ML) herzustellen, ist allerdings naturgemäß keine triviale Aufgabe. Explainable AI (XAI) schafft hier Abhilfe, indem die Entscheidungslogik einer KI-Anwendung analysiert und erklärbar gemacht wird. 

Bringing Transparency to Machine-Learning Models & Predictions

Erklärbarkeit – eine regulatorische Anforderung

Die Beschäftigung mit Transparenz in der KI hat auch aus regulatorischen Gründen hohe Dringlichkeit für Unternehmen unterschiedlichster Branchen. Die Datenschutz-Grundverordnung (DSGVO) und der neue Entwurf für ein EU-Gesetz zur KI stellen umfangreiche Anforderungen. Bezogen auf Hochrisiko-Anwendungen werden Vorgaben gemacht zu Risikomanagementsystemen, Data-Governance, Dokumentation, Robustheit, Genauigkeit und Sicherheit. Generell sollten Nutzer die Ergebnisse von KI-Entscheidungen nachvollziehen und verstehen können. Für Verarbeitungsprozesse personenbezogener Daten werden Transparenz und eine Folgenabschätzung bei der Verwendung von KI gefordert. Ähnliche Regeln werden derzeit weltweit eingeführt, etwa in Japan, Singapur und Kalifornien. Die naheliegende Antwort für Unternehmen ist hier, KI-Nachvollziehbarkeit zu schaffen – durch Ansätze, die ein substanzielles Verständnis der Entscheidungsabläufe und -parameter ermöglichen. Dazu gehört auch, die besonderen Stärken und Schwächen sowie die Abgrenzung der zulässigen Anwendungsfälle von Algorithmen zu identifizieren. Nur so ist es überhaupt möglich, eine Anwendung einzuordnen und zu bewerten, was wiederum Voraussetzung für die Herstellung von Vertrauenswürdigkeit ist – nicht nur aus Sicht der Regulatoren, sondern auch aller anderen Stakeholder, von Kunden bis Investoren.

Algorithmen verstehen

Interpretierbare Algorithmen sind aber nicht prinzipiell mit vertrauenswürdiger KI  gleichzusetzen. Die verfügbaren Analysetechniken zur Erklärung von Algorithmen eignen sich oft nur für ein eng eingegrenztes Anwendungsgebiet. Unsachgemäß eingesetzte Methoden könnten Nutzer in falsche Sicherheit wiegen und somit sogar kontraproduktiv sein. Insbesondere muss zwischen globalen Erklärungen unterschieden werden, die das Verhalten für alle Anwendungsfälle eines Algorithmus interpretieren sollen, und zwischen lokalen Erklärungen, bei denen lediglich ein spezifischer Fall analysiert wird. Grundsätzlich gilt es, bei der Erklärung von KI den Kontext, die Blickwinkel verschiedener Zielgruppen und ihr spezifisches Erkenntnisinteresse zu berücksichtigen. Endnutzer wollen beispielsweise das Zustandekommen einer Entscheidung verstehen, etwa die Ablehnung eines Kreditantrags. Die Gesamtgesellschaft erwartet allgemeiner faire Systeme, bei denen auch unerwartete Entscheidungen nachvollziehbar gemacht werden können. Regulatoren wiederum fordern Erklärbarkeit etwa aus Sicht der Compliance bei Sicherheitsstandards. Besonders wichtig ist Erklärbarkeit aber auch für die Systementwicklung, also das Entwickeln und Betreiben von Algorithmen selbst, denn deren Optimierung setzt offensichtlich ein Verständnis ihrer Funktionsweise voraus. In Fachkreisen wird als bevorzugter Weg die Verwendung von selbsterklärenden Algorithmen angesehen, da die direkte Verbindung zum verwendeten Algorithmus die Qualität des Erklärungsmodells garantiert. Hierfür werden Techniken wie Entscheidungsbäume oder logistische Regression verwendet. Um Probleme bei nicht-linearen Datensätzen auszuschließen, wurden zuletzt verbesserte GA2M-Modelle entwickelt (Generalized Additive Models). Allerdings sind nicht alle KI-Systeme selbsterklärend verfasst. Das macht die Verwendung von weiteren, alternativen Algorithmen nötig, durch die intransparente Algorithmen verstanden werden können. 

Globale Erklärungen

Bei einer globalen Erklärung eines Algorithmus wird ein Ersatzmodell erstellt (Surrogat), welches das eigentliche Modell nachahmt. Es muss nicht hundertprozentig prognostisch akkurat sein, aber zumindest direktional aussagekräftig und vor allem deutlich nachvollziehbarer als das Original. Geeignet ist hierfür beispielsweise der bekannte, spieltheoretisch fundierte Erklärungsalgorithmus SHAP (SHapely Additive exPlanations). Durch ihn kann auch die Relevanz der unterschiedlichen Einzelmerkmale des Modells bewertet werden. Die verbreitete Open Source-Variante von SHAP hat allerdings prinzipielle Schwächen. Sie nutzt den Ansatz der logistischen Regression und geht dabei von der Annahme aus, dass die Merkmale bzw. Variablen voneinander unabhängig sind. Im spieltheoretischen Kontext mag das unproblematisch sein, aber bei der praktischen Erklärung von Eigenschaften von ML- und KI-Modellen ist es suboptimal, da es u.U. die Bewertung der Merkmalwichtigkeit verfälscht. Experten von Deloitte konnten diese Probleme beim proprietären Deloitte-Tool Lucid [ML] lösen, indem sie statt der beschränkten Regressionsmodelle einen Ansatz mit Conditional Trees wählten. Durch diese innovative Lösung auf Basis aktueller Forschung können problematische Vorannahmen im Modell eliminiert werden. Ein weiterer neuer Ansatz sind Partial Dependence Plots (PDPs), die eine Abschätzung erlauben, ob eine lineare oder eine komplexere Verbindung zwischen einer Merkmaländerung und der Reaktion des Modells besteht. 

Lokale Erklärungen

Lokale Erklärungen zielen im Gegensatz zu globalen auf einzelne Fälle, die sie vollständig transparent machen sollen. Laut DSGVO ist beispielsweise bei Verwendung bestimmter Modelle bei Kreditentscheidungen eine Auskunft gegenüber dem betroffenen Verbraucher über die Gründe der Entscheidung nötig. Eine globale Erklärung würde hier nicht weiterhelfen. Eine verbreitete lokale Erklärungsmethode ist LIME (Local Interpretable Model-Agnostic Explainer), die allerdings ebenfalls die Nachteile der logistischen Regression aufweist. Geeignet ist auch der kontrafaktische Ansatz, bei dem z.B. untersucht wird, wie sich der Input verändern muss, damit sich der Output ändert. Dieser Ansatz leidet jedoch unter einer Abhängigkeit vom untersuchten Originalmodell und lässt keine Baum-basierten Modelle zu. Deloitte hat die kontrafaktische Methode deshalb weiterentwickelt und mit Lucid [ML] einen Modell-unabhängigen lokalen Erklärungsansatz realisiert. Lucid [ML] ermöglicht darüber hinaus die flexible Änderung von Merkmalen, wodurch Expertenwissen in den kontrafaktischen Algorithmus integriert werden kann und diesen so verbessert. 

KI-Expertise von Deloitte

Mit dem Lucid [ML] Tool stellen die Experten von Deloitte ein wegweisendes Werkzeug zur Erklärung und Beurteilung von Algorithmen, KI- und ML-Modellen bereit. Um bei der Konzeption von KI-Anwendungen eine optimale Abwägung zwischen Erklärbarkeit und prognostischer Mächtigkeit erzielen zu können, hat Deloitte eine mehrdimensionale Metrik eingeführt. Dabei werden drei Aspekte bewertet:

  1. Merkmalsparsamkeit – einfachere Modelle sind einfacher zu verstehen
  2. Merkmalmonotonie – möglichst direkte und klare Relation zwischen Input und Output
  3. Merkmalkomplexität – das Mindestmaß an Merkmalen und Daten


In Lucid [ML] werden Modelle auf diese Aspekte analysiert und dann mit Kennzahlen zu Erklärbarkeit und Effektivität bewertet, die auf einem übersichtlichen Dashboard ausgegeben werden. Wenn Sie mehr über Explainable AI (XAI) und da Deloitte Lucid [ML] Tool erfahren wollen, nehmen Sie Kontakt mit unseren Experten auf.