Mobile-Menu

Künstliche Intelligenz Forscher präsentieren neue Methode zur Erklärbarkeit von KI

Quelle: Fraunhofer HHI 2 min Lesedauer

Anbieter zum Thema

Fraunhofer-Insitut für Nachrichtentechnik Heinrich-Herz-Insitut

Künstliche Intelligenz gilt häufig als Blackbox, ihre Entscheidungen oder Prozesse kann der Mensch bisher nur schwer oder gar nicht nachvollziehen. Forscher wollen das nun ändern.

Die neue Methode ist in der Lage, individuelle Entscheidungen einer KI anhand von Konzepten zu erklären, die für den Menschen verständlich sind. (Bild: Shutter2U - stock.adobe.com)
Die neue Methode ist in der Lage, individuelle Entscheidungen einer KI anhand von Konzepten zu erklären, die für den Menschen verständlich sind.
(Bild: Shutter2U - stock.adobe.com)

Das Fraunhofer Heinrich-Hertz-Institut (HHI) hat gemeinsam mit seinen Partnern eine neue Methode entwickelt, um den Entscheidungsprozess von künstlicher Intelligenz verständlich zu machen. Laut einer Mitteilung können so die individuellen Entscheidungen der KI in Form von menschlich verständlichen Konzepten erklärt werden. Das entsprechende Paper erschien zuerst in der Fachzeitschrift „Nature Machine Intelligence“.

Die Methode heißt Concept Relevance Propagation (CRP), welche die relevanten eingegebenen Merkmale für die getroffene Entscheidung zeigt und verwendete Konzepte aufdeckt. CPR zeige außerdem, wo diese in der Eingabe repräsentiert sind und welche Teile des neuronalen Netzwerks dafür verantwortlich sind. Diese neue Art der Erklärbarkeit nehme erstmals den gesamten Vorhersageprozess einer KI vom Input bis zum Output in den Blick.

Was für den Entscheidungsprozess relevant ist

In den vergangenen Jahren hat das Forschungsteam bereits verschiedene Methoden entwickelt, um mithilfe sogenannter Heatmaps zu erklären, wie KI-Algorithmen zu ihren Entscheidungen gelangen, heißt es weiter. Die Heatmaps markieren bei der Bilderkennung etwa spezifische Bereiche in einem Bild, die für die getroffene Entscheidung besonders relevant sind. Diese Methode wurde unter dem Namen Layer-wise Relevance Propagation (LRP) bekannt. Die neue CRP-Methode baut auf dieser auf.

Auf der Input-Ebene kennzeichnet CRP, welche Pixel innerhalb eines Bildes für den KI-Entscheidungsprozess besonders relevant sind. „CRP überträgt die Erklärung vom Eingangsraum, in dem sich das Bild mit all seinen Pixeln befindet, in den semantisch angereicherten Konzeptraum, der von höheren Schichten des neuronalen Netzwerkes gebildet wird“, sagt Sebastian Lapuschkin, Leiter der Forschungsgruppe „Erklärbare Künstliche Intelligenz“ am Fraunhofer HHI. „CRP ist die nächste Stufe der Erklärbarkeit der KI und bietet ganz neue Möglichkeiten im Hinblick auf die Untersuchung, Prüfung und Verbesserung der Funktionsweise von KI-Modellen.“ So könne KI etwa eine schwarz-weiße Oberfläche erkennen. Erst wenn diese Information mit dem Konzept „Tier“ anhand von weiteren Merkmalen kombiniert wird, erkennt die KI ein Zebra.

(ID:49737663)

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte