AI Agents brauchen Leitplanken, keine Leine: Governance in der Praxis

In den Gesprächen über AI Agents begegnen mir derzeit zwei Extreme. Die einen wollen Agenten am liebsten gar nichts entscheiden lassen, jeder Schritt soll von einem Menschen freigegeben werden. Die anderen lassen laufen und schauen, was passiert, der Markt belohne schließlich die Mutigen. Beide Haltungen führen in die Irre, nur unterschiedlich schnell.

Die Vollkontrolle-Fraktion baut Agenten, die keine sind. Wenn ein Mensch ohnehin jeden Schritt absegnet, hat man einen umständlichen Vorschlagsgenerator gebaut und trägt trotzdem den vollen Betriebsaufwand. Die Investition rechnet sich nie, und nach einem Jahr heißt es, Agenten brächten nichts. Die Laissez-faire-Fraktion erlebt früher oder später den einen Vorfall, nach dem die Geschäftsführung sämtliche KI-Initiativen einfriert, und räumt dann unter den ungünstigsten Bedingungen auf, die man sich aussuchen kann.

Ich halte beide Ausgänge für vermeidbar. Was sich in meinen Projekten als Mittelweg bewährt hat, lässt sich in vier Prinzipien fassen.

Abgestufte Autonomie nach Risiko

Der Kern ist eine simple Klassifizierung von Aktionen nach ihrem Schadenpotenzial.

Lesende Aktionen, also Daten anreichern, korrelieren, zusammenfassen, einschätzen, dürfen Agenten autonom ausführen. Der schlimmste Fehler ist eine unnütze oder falsche Notiz, ärgerlich, aber billig und sichtbar.

Schreibende Aktionen mit begrenztem und umkehrbarem Schaden, etwa Kategorisierung, Priorisierungsvorschläge oder Arbeitsnotizen, laufen autonom mit Stichprobenkontrolle. Eine wöchentliche Stichprobe von zwanzig Fällen zeigt zuverlässig, ob die Qualität hält.

Alles, was nach außen wirkt oder schwer umkehrbar ist, also Kommunikation an Endnutzer, Änderungen an Berechtigungen, Eingriffe in Produktivsysteme, braucht eine menschliche Freigabe. Punkt.

Diese Einteilung ist bewusst grob. Ihr Wert liegt nicht in der Raffinesse, sondern darin, dass sie zu einer expliziten Entscheidung pro Use Case zwingt. Die meisten Governance-Unfälle passieren nicht, weil jemand falsch entschieden hat, sondern weil niemand entschieden hat.

Werkzeuge knapp halten

Ein Agent bekommt genau die Werkzeuge, die sein Auftrag erfordert, und keines mehr. Nicht die Tabelle, sondern die konkrete Operation auf der Tabelle. Nicht "darf Incidents bearbeiten", sondern "darf das Kategorie-Feld und die Arbeitsnotizen aktualisieren".

Der größte Teil des unerwünschten Verhaltens, das ich seit den ersten Yokohama-Experimenten gesehen habe, ging nicht auf böswillige oder dumme Modelle zurück, sondern auf zu großzügige Werkzeugkästen. Ein Agent, der ein Werkzeug hat, findet einen Grund, es zu benutzen. Das ist keine Anomalie, das ist die Natur zielgetriebener Systeme, und die Konsequenz ist banal: Was er nicht tun soll, darf er nicht können.

Beobachtbarkeit von Anfang an

Jede Agentenaktion muss nachvollziehbar protokolliert sein, und zwar so, dass es auch ein Auditor oder ein Betriebsrat versteht: Was war der Auslöser, welche Daten wurden gelesen, welche Aktion wurde ausgeführt, mit welcher Begründung. Seit es den AI Control Tower gibt, ist die zentrale Sicht auf die Agenten-Landschaft deutlich einfacher geworden, und die Testwerkzeuge der letzten Releases helfen, Verhalten schon vor dem Deployment zu verstehen.

Die unbequeme Hausaufgabe bleibt trotzdem bestehen: Jemand muss die Berichte auch lesen. Ein Protokoll, das niemand auswertet, ist Compliance-Theater. Eine halbe Stunde pro Woche, fest im Kalender der verantwortlichen Person, ist mehr wert als das ausgefeilteste Dashboard ohne Publikum.

Einen Notausschalter definieren

Klingt drastisch, ist aber schlichte Betriebshygiene: Wer darf einen Agenten deaktivieren, wie schnell geht das, was passiert mit laufenden Vorgängen, wer wird informiert? Diese Fragen will man beantwortet haben, bevor man sie braucht, denn im Ernstfall ist keine Zeit für Zuständigkeitsklärung. Das Gegenstück gehört dazu: ein definierter Weg, wie ein deaktivierter Agent nach Analyse und Korrektur wieder in Betrieb geht. Sonst bleibt nach dem ersten Vorfall alles dauerhaft aus, und auch das ist ein Schaden.

Leitplanken machen mutiger, nicht langsamer

Governance wird in diesen Diskussionen gern als Bremse dargestellt, als der Preis, den man für die Innovation eben zahlen müsse. Meine Erfahrung ist das Gegenteil. Die Unternehmen mit klaren Leitplanken trauen sich mehr zu, weil sie wissen, dass der Rahmen hält. Sie pilotieren schneller, weil die Risikofrage pro Use Case in Minuten beantwortet ist statt in Gremiensitzungen. Und sie überstehen den ersten Zwischenfall, der irgendwann kommt, als Lernerfahrung statt als Vertrauenskrise.

Die Leine macht den Agenten nutzlos. Der Wildwuchs macht ihn gefährlich. Die Leitplanke macht ihn produktiv.