Künstliche Intelligenz Deep Learning und wie ein Neuronales Netz entscheidet

Bei Deep Learning ist es kaum nachvollziehbar, warum ein Neuronales Netz bestimmte Entscheidungen trifft. Doch welche Kriterien spielen bei der Entscheidung eine Rolle?

Der Kluge Hans, oder im Englischen Clever Hans genannt, war ein Pferd Anfang des 20. Jahrhunderts, das vermeintlich rechnen konnte und dabei das Ergebnis mit Hufklopfen wiedergab [1]. Tatsächlich hatte das Pferd jedoch gelernt, die Körpersprache seiner Aufgabensteller zu lesen, die damit die Lösung vorgaben. Der Clever-Hans-Effekt bezeichnet seitdem in der Wissenschaft die unbewusste Beeinflussung eines Verhaltens.

Deep-Learning-Lösungen können einen ähnlichen Effekt haben. Ein System, das Boote in Bildern erkennen soll, reagiert möglicherweise primär auf Wasser. Bei vielen Bildern fällt das nicht auf, da Boote in der Nähe von Wasser anzutreffen sind. Wie Wissenschaftler der TU Berlin vermuten, ist es „durchaus denkbar, dass ungefähr die Hälfte der aktuell eingesetzten KI-Systeme implizit oder explizit solche Clever-Hans-Strategien nutzen.“ [2] Wie lässt sich erkennen und vermeiden, dass man einen Clever-Hans-Predictor baut und ist es wirklich schlimm, einen solchen Effekt im System zu haben?