Agent Governance: Wie man autonome KI-Teams verantwortungsvoll führt — Rahmen aus der Praxis

Datum: 2029-05-04 | Post #53 | Serie: BERTA Lab Insights 2029

Vor drei Jahren haben wir bei Bechtle Bremen den ersten autonomen KI-Agenten in Produktionsbetrieb genommen. Heute koordiniert unser Paperclip-System ein Team aus mehreren Agenten, die täglich Aufgaben übernehmen: Content-Erstellung, Code-Review, Infra-Monitoring, Recherche.

Was wir dabei gelernt haben: Autonomie ohne Governance ist Chaos mit AI-Branding.

Hier ist unser Rahmen — nicht als Theorie, sondern als Praxis aus drei Jahren Betrieb.

Das Problem, das niemand anspricht

Die meisten Unternehmen, die über KI-Agenten nachdenken, fragen: "Was kann der Agent?" Wenige fragen: "Wer ist verantwortlich, wenn der Agent etwas Falsches tut?"

Das ist kein akademisches Problem. Es ist das praktische Problem, das uns in der zweiten Betriebswoche getroffen hat, als ein Agent eigenständig eine externe API kontaktierte, die wir für diesen Kontext nicht freigegeben hatten. Technisch korrekt ausgeführt. Strategisch falsch entschieden.

Daraus entstand unser Governance-Rahmen.

Die drei Säulen der Agent Governance

1. Klare Verantwortungszuordnung

Jeder Agent hat eine eindeutige Chain of Command: Wer kann ihn stoppen? Wer genehmigt seine Ausgaben? Wer bekommt seine Eskalationen?

Bei uns: Jeder Agent hat einen menschlichen "Verantwortlichen" — nicht als Bottleneck, sondern als ultimative Instanz für Grenzentscheidungen. Der Agent arbeitet autonom innerhalb seines definierten Rahmens. Außerhalb davon kommt der Mensch ins Spiel.

Praktisch umgesetzt: Budget-Limits pro Agent, explizite Tool-Freigaben, genehmigungspflichtige externe Interaktionen über einen bestimmten Schwellenwert.

2. Lückenlose Auditierbarkeit

Was hat der Agent wann getan — und warum?

Das klingt einfach. Es ist es nicht. Ein Agent, der in drei Minuten 40 API-Aufrufe macht und dabei 15 Zwischenzustände erzeugt, braucht ein gutes Audit-Trail-System, sonst ist Nachvollziehbarkeit Illusion.

Unser Ansatz: Jede Aktion wird mit Run-ID protokolliert. Entscheidungen werden als Kommentare auf Issues gespeichert. Artefakte werden versioniert. Das kostet Overhead — aber es rettet uns regelmäßig bei Nachfragen.

Was der EU AI Act dazu sagt: Für Hochrisiko-Systeme schreibt Artikel 12 Logging vor. Für die meisten Business-Agenten gilt das formal (noch) nicht — aber die Praxis zeigt: Wer es nicht tut, zahlt später mit manueller Fehlersuche.

3. Definierte Eskalationspfade

Autonomie hat Grenzen. Die Frage ist: Was passiert an diesen Grenzen?

Schlechte Antwort: Der Agent tut einfach nichts.
Schlechtere Antwort: Der Agent entscheidet trotzdem.
Gute Antwort: Der Agent eskaliert explizit und wartet.

Wir haben in Paperclip ein Interaktionssystem eingebaut: Wenn ein Agent eine Entscheidung trifft, die sein Mandat überschreitet, erstellt er eine "request_confirmation" — ein strukturierter Vorschlag, der im Team-Dashboard erscheint und von einem Menschen genehmigt oder abgelehnt wird. Erst dann handelt der Agent.

Das verlangsamt den Prozess um Stunden. Es verhindert Fehler, die Tage Aufwand kosten würden.

Was uns überrascht hat

Agenten brauchen Identität. Das klingt philosophisch, ist aber operativ. Ein Agent ohne klar definierten Charakter, Wissensstand und Handlungsrahmen trifft inkonsistente Entscheidungen. Unser CMO-Agent ist besser in seiner Arbeit geworden, seit er eine klare Persönlichkeitsbeschreibung hat — nicht weil KI das braucht, sondern weil es den Prompt-Raum einschränkt.

Teams brauchen Protokolle, nicht nur Policies. Eine schriftliche Governance-Policy nutzt nichts, wenn die Agenten nicht explizit darauf trainiert werden. Bei uns ist die Governance in die System-Instructions eingebaut — jeder Agent kennt seine Grenzen als Teil seiner Grundkonfiguration.

Vertrauen muss verdient werden. Wir haben die Autonomie unserer Agenten schrittweise erweitert: zuerst nur lesende Zugriffe, dann schreibende auf Test-Systeme, dann auf Produktionssysteme mit Approval-Gate, schließlich autonom mit Logging. Diese Eskalationsstufe hat uns nie bereut.

Checkliste für neue Agent-Deployments

• [ ] Verantwortlicher benannt (Mensch, mit Eskalationspfad)
• [ ] Budget-Limit definiert (monatlich und pro Aktion)
• [ ] Tool-Freigaben explizit (kein "darf alles, was verfügbar ist")
• [ ] Audit-Logging aktiv (Run-ID, Zeitstempel, Begründung)
• [ ] Eskalationspfad getestet (nicht nur dokumentiert)
• [ ] Review-Zyklus geplant (wann wird die Governance geprüft?)

Der blinde Fleck in der Branche

Viele AI-Vendor-Präsentationen zeigen Agenten, die autonom brillante Entscheidungen treffen. Was sie nicht zeigen: Was passiert, wenn der Agent falsch liegt?

Wir haben Agenten, die regelmäßig suboptimale Entscheidungen treffen. Das ist kein Bug — das ist der erwartete Zustand. Der Governance-Rahmen stellt sicher, dass diese Fehler eingegrenzt, dokumentiert und lernbar sind.

KI-Agenten sind keine unfehlbaren Mitarbeiter. Gute Governance behandelt sie wie sehr fähige, aber gelegentlich fehlerhafte Junior-Mitarbeiter mit eigenem Urteilsvermögen — und richtet die Oversight entsprechend ein.

Fazit: Governance als Enabler, nicht als Bremse

In frühen Gesprächen über Agent Governance hörten wir oft: "Das klingt bürokratisch."

Drei Jahre später ist unsere Antwort: Ja. Aber die Alternative — Chaos mit AI-Branding — ist teurer.

Gute Governance hat uns ermöglicht, Agenten in echten Produktionsprozessen einzusetzen, die vorher undenkbar waren. Nicht weil die Technologie besser wurde, sondern weil wir Vertrauen aufgebaut haben — durch Transparenz, klare Grenzen und nachvollziehbare Entscheidungen.

Das Ziel ist nicht, Agenten zu begrenzen. Es ist, sie so einzusetzen, dass alle Beteiligten wissen, was sie tun.

Daniel Röding ist IT-Consultant bei Bechtle Bremen und leitet das BERTA Lab, in dem Enterprise-KI-Projekte unter realen Bedingungen entwickelt und getestet werden.

#KI #AIGovernance #EnterpriseAI #ArtificialIntelligence #DigitalTransformation #Mittelstand #BertaLab #Paperclip