Unternehmenserfolg gefährdet Gartner warnt vor einheitlicher Governance für alle KI-Agenten

Wenn Unternehmen für alle KI-Agenten dieselben Governance-Regeln anwenden, unabhängig von deren Autonomiegrad und Einsatzbereich, kann das laut dem Marktforschungs- und Beratungsunternehmen Gartner, Inc. zum Scheitern unternehmensweiter KI-Agenten-Initiativen führen.

Gartner prognostiziert, dass bis 2027 rund 40 Prozent der Unternehmen autonome KI-Agenten zurückstufen oder außer Betrieb nehmen werden, weil Governance-Lücken erst nach Vorfällen im Produktivbetrieb sichtbar werden. Probleme bei den entstehen insbesondere dann, wenn Unternehmen nicht klar zwischen der Handlungsautonomie eines Agenten und dem Umfang seiner Zugriffsrechte unterscheiden.

„Viele Unternehmen betrachten die Governance von KI-Agenten als Entweder-oder: entweder streng reglementiert oder vollständig vertrauenswürdig. Genau darin liegt die Hauptursache für das Scheitern“, sagte Shiva Varma, Senior Director Analyst bei Gartner. „KI-Agenten agieren auf unterschiedlichen Autonomieebenen und innerhalb verschiedener Vertrauensgrenzen. Werden dieselben Kontrollmechanismen pauschal auf alle Agenten angewendet, führt das häufig zu zwei Problemen: Entweder werden einfache Agenten übermäßig eingeschränkt, was die Implementierung verlangsamt und Schattenentwicklung begünstigt, oder autonomere Agenten werden nicht ausreichend kontrolliert, was zu entsprechend höheren Betriebs-, Sicherheits- und Compliance-Risiken führt.“

Governance an die Stufe der KI-Agenten anpassen

Um diese Risiken zu mindern, empfiehlt Gartner die Anwendung eines verhältnismäßigen Governance-Ansatzes, bei dem KI-Agenten in verschiedene Autonomieebenen eingeteilt werden, wobei jede Ebene eine andere Vertrauensgrenze und entsprechende Governance-Anforderungen darstellt.

Stufe 1: Beobachten

Hier haben Beobachtungsagenten lediglich Lesezugriff auf definierte Datenquellen Die Ergebnisse sind nur für den anfragenden Benutzer sichtbar. Zu den gängigen Anwendungsfällen gehören die Zusammenfassung von Dokumenten, das Abrufen von Daten oder Wissen sowie die Erläuterung von Code. „Auf dieser Stufe sollte sich die Governance auf grundlegende Kontrollen konzentrieren, wie beispielsweise den begrenzten Datenzugriff, die Benutzerauthentifizierung, die Protokollierung der Nutzung sowie grundlegende Funktions- und Sicherheitstests“, so Varma. „Da sich das Risiko in erster Linie auf die Offenlegung von Daten und die Genauigkeit der Ergebnisse beschränkt, sollten die Kontrollen schlank und zielgerichtet bleiben.“

Stufe 2: Beratung

Beratungsagenten generieren Empfehlungen, Entwürfe oder Handlungsvorschläge, während Menschen die Ergebnisse überprüfen und Maßnahmen manuell ausführen. Diese Agenten verfügen nur über Lesezugriff ohne Schreibrechte und werden z. B. für E-Mail-Entwürfe, die Generierung von Berichten oder Code sowie zur Unterstützung von Entscheidungen eingesetzt. Obwohl Menschen die Entscheidungen ausführen, können beratende Agenten das Urteilsvermögen beeinflussen und nachgelagerte Risiken verursachen. „Die Governance für beratende Agenten sollte alle Kontrollen der Stufe 1 umfassen und sich auf die Qualität der Ergebnisse und den Einfluss auf Entscheidungen erstrecken, und zwar durch Genauigkeits- und Halluzinationstests, domänenspezifische Qualitätsbewertungen und Benutzerschulungen zu angemessenen Vertrauensstufen“, sagte Varma.

Stufe 3: Handeln mit Genehmigung

Damit können Agenten Aufgaben wie das Schreiben von Daten, das Senden von Nachrichten oder das Ändern von Konfigurationen ausführen – aber erst nach ausdrücklicher Genehmigung durch einen Menschen für jede einzelne Handlung. „Auf dieser Stufe ist die menschliche Überprüfung nur dann wirksam, wenn sie eine sinnvolle Kontrollmaßnahme bleibt“, weiß Varma. „Ohne strenge Sicherheitstests, klare Genehmigungsworkflows mit Prüfpfaden und agentenspezifische Verfahren zur Reaktion auf Vorfälle können Genehmigungen unter Zeitdruck oder aufgrund von Genehmigungsmüdigkeit an Qualität einbüßen. Das würde ein falsches Gefühl der Sicherheit vermitteln und gleichzeitig die Angriffsfläche vergrößern.“

Stufe 4: Autonomes Handeln

Auf der höchsten Autonomiestufe führen Agenten innerhalb festgelegter Rahmenbedingungen Aktionen selbstständig durch. Menschen überprüfen nur noch Ausnahmen, Prüfprotokolle und aggregierte Ergebnisse statt einzelne Entscheidungen. „Wenn Agenten autonom agieren, werden Aktionen in einem Umfang und mit einer Geschwindigkeit ausgeführt, die die menschliche Aufsicht übersteigen können“, warnt Varma. „Da die Verantwortung für die Ergebnisse bei der Organisation verbleibt, erfordert diese Stufe die strengste Governance, einschließlich kontinuierlicher Überwachung, durchgesetzter Sicherheitsgrenzen, Mechanismen für schnelles Zurücksetzen, Schutzschaltungen, die den Agentenbetrieb bei Überschreitung von Schwellenwerten stoppen, und einer klaren Zuständigkeit für das Verhalten der Agenten.“

(ID:50855799)