Das National Cyber Security Centre (NCSC) des Vereinigten Königreichs hat kürzlich Leitlinien für den Umgang mit den Cyberrisiken agentischer KI veröffentlicht. Obwohl das Dokument als vorläufige Empfehlung gedacht ist, während formellere Richtlinien entwickelt werden, spiegelt diese Einordnung den aktuellen Zustand der Branche wider: Unternehmen setzen Agenten bereits in Produktionsumgebungen ein, während Standards, Kontrollmechanismen und Betriebsmodelle für autonome Systeme noch ungeklärt sind. Die Governance entwickelt sich parallel zur Einführung, anstatt ihr vorauszugehen – eine Realität, die die Bedeutung robuster Kontrollen unterstreicht.
Die Leitlinien des NCSC empfehlen, Kontrollen an den Autonomiegrad eines Agenten anzupassen, eindeutige Identitäten zuzuweisen, Berechtigungen einzuschränken, den Zugriff auf Systeme und Daten zu begrenzen, Aktivitäten zu überwachen, die menschliche Aufsicht aufrechtzuerhalten und die Möglichkeit zu wahren, bei Bedarf einzugreifen. Die meisten dieser Empfehlungen dürften Sicherheitsteams vertraut sein. Die Herausforderung liegt nicht in der Neuartigkeit der Kontrollen. Sie liegt vielmehr in der Art der Systeme, die durch diese Kontrollen nun gesteuert werden müssen.
Der Wandel von der Modellsicherheit zur Agentensicherheit
Seit mehreren Jahren konzentrieren sich Diskussionen über die Sicherheit von KI stark auf Modelle. Kann ein Modell manipuliert werden? Per Jailbreak manipuliert? Vertrauenswürdig? Kann es Informationen offenlegen, die es nicht offenlegen sollte? Diese Fragen bleiben wichtig, erfassen jedoch nur einen Teil des Problems. Ein Modell, das Text generiert, ist das eine. Ein System, das mit Identitäten, Anwendungen, Tools, Workflows und Geschäftsdaten verbunden ist, ist etwas anderes.
Der Unterschied wird deutlicher, wenn man einen Chatbot, der Fragen beantwortet, mit einem Agenten vergleicht, der Kundendaten abrufen, Tickets aktualisieren, Tools aufrufen, Workflows auslösen und mit externen Systemen interagieren kann. Das zugrunde liegende Modell kann identisch sein. Der Zugriff darauf ist es nicht. Die Sicherheitsfrage verschiebt sich zunehmend von der Frage, was das Modell weiß, hin zu der Frage, was das System tun kann.
Dasselbe Thema findet sich auch in der Anfang dieses Jahres veröffentlichten Erklärung der Five Eyes, in der KI als Kraftmultiplikator beschrieben wird, der sowohl offensive als auch defensive Cyberoperationen beschleunigt. Die Leitlinien des NCSC zeigen, wie diese Realität aussieht, wenn autonome Systeme beginnen, innerhalb von Unternehmensumgebungen zu arbeiten.
Absicherung von KI-Agenten im laufenden Betrieb
Das NCSC widmet dem Modellverhalten relativ wenig Zeit und befasst sich wesentlich ausführlicher mit Identität, Berechtigungen, Überwachung, Aufsicht, Eindämmung und Reaktion. Agenten werden als Teilnehmer innerhalb einer Umgebung betrachtet und nicht als isolierte Technologien.
Das deckt sich weitgehend mit unserer Sicht auf das Problem bei Darktrace.
Ein Agent sollte nicht als Erweiterung eines Benutzerkontos betrachtet werden. Er entwickelt eigene Verhaltensmuster. Er greift auf Systeme zu, interagiert mit Daten, ruft Tools auf und bewegt sich durch Workflows – auf eine Weise, die unabhängig beobachtet werden kann. Es ist wichtig zu verstehen, wozu ein Agent berechtigt ist. Ebenso wichtig ist es zu verstehen, wie er sich nach der Bereitstellung tatsächlich verhält und ob dieses Verhalten mit den Geschäftsabsichten übereinstimmt.
Identität ist ein naheliegendes Beispiel. Das NCSC empfiehlt, Agenten eindeutige Identitäten zuzuweisen, statt sie in den umgebenden menschlichen Konten oder Dienstkonten untergehen zu lassen. Vor allem ermöglicht die Zuweisung eindeutiger Identitäten zu Agenten eine unabhängige Überwachung ihres Verhaltens.
Entwicklungsannahmen vs. Verhalten im realen Einsatz
Dasselbe Prinzip gilt auch für die Überwachung. Die Leitlinien des NCSC ordnen die Aktivitäten von Agenten den regulären Sicherheitsprozessen zu, statt sie als separate Funktion der KI-Governance zu behandeln. Viele der beschriebenen Kontrollen werden eingerichtet, bevor ein Agent den Betrieb aufnimmt. Sandboxing, die Gestaltung von Zugangsdaten, Genehmigungs-Workflows und menschliche Aufsicht spiegeln allesamt Einschätzungen dazu wider, wie sich das System voraussichtlich verhalten wird und welche Risiken es wahrscheinlich mit sich bringt.
Die tatsächliche Nutzung kann diese Annahmen infrage stellen. Zugriffsmuster ändern sich. Workflows erweitern sich. Systeme beginnen, mit Ressourcen zu interagieren, auf die sie zuvor noch nie zugegriffen haben. Prozesse, die während des Entwurfs sinnvoll erschienen, verhalten sich im Produktivbetrieb anders. Anforderungen an die menschliche Aufsicht können sich entweder als übermäßig oder als unzureichend erweisen, sobald das System im großen Maßstab und im Kontext individueller Geschäftsprozesse betrieben wird.
Die Erklärung der Five Eyes verweist auf ein ähnliches Problem: Unternehmen müssen darauf vertrauen können, dass die Kontrollen weiterhin wie vorgesehen funktionieren, sobald Systeme realen Nutzern, Daten, Tools und operativem Druck ausgesetzt sind. Oft geht es nicht darum, ob ein Agent technisch befugt ist, eine Handlung auszuführen, sondern darum, ob sein Verhalten weiterhin der Rolle entspricht, die er erfüllen sollte.
Überwachung und Governance von KI-Agenten gehen Hand in Hand
Dieses Problem ist genau der Grund, warum Überwachung und Governance als Teil desselben Prozesses betrachtet werden sollten. Governance legt die anfänglichen Parameter für die Bereitstellung fest, während die Überwachung Aufschluss darüber gibt, ob diese Parameter weiterhin angemessen sind. Diese Erkenntnisse sollten wiederum in Änderungen an Berechtigungen, Kontrollen und Aufsicht einfließen.
Dies wird zunehmend relevant, wenn autonome Systeme in Geschäftsprozesse integriert werden. Das relevante Risiko wird nicht nur durch das Modell oder den Agenten selbst bestimmt, sondern auch dadurch, worauf er zugreifen kann, welche Aktionen er ausführen kann und wie sich sein Verhalten in der Praxis verändert.
Eine kontinuierliche Aufsicht über das Verhalten von KI-Agenten aufbauen
Die Schlussfolgerung ist klar: Governance kann nicht mit der Bereitstellung enden. Unternehmen benötigen eine Möglichkeit, nach der Bereitstellung zu verstehen, wie sich Agenten verhalten, zu prüfen, ob die Kontrollen weiterhin angemessen sind, und sie an veränderte Bedingungen anzupassen. Dazu muss nicht nur die technische Aktivität sichtbar sein, sondern auch, ob diese Aktivität im Kontext des Geschäftsprozesses, den der Agent unterstützen soll, sinnvoll ist.
Hier kann geschäftsorientierte Verhaltenssicherheit entscheidend werden. Risiken entstehen nicht durch das Modell selbst, sondern durch die Handlungen, die ein autonomes System innerhalb des Unternehmens ausführt, und die daraus folgenden Konsequenzen.
Ein Agent kann genau wie vorgesehen arbeiten und dennoch ein Risiko verursachen, wenn er in einem unerwarteten Kontext auf sensible Informationen zugreift, Berechtigungen auf eine Weise nutzt, die zu einer unbeabsichtigten Offenlegung führt, oder Geschäftsprozesse auf eine Weise beeinflusst, die bei der Entwicklung und Überprüfung nicht vorhergesehen wurde.
Traditionelle Governance vs. verhaltensbasierte Sicherheit
Traditionelle Governance-Frameworks bieten Sicherheit zu einem bestimmten Zeitpunkt. Verhaltensbasierte Sicherheit kann kontinuierliche Transparenz darüber bieten, wie autonome Systeme mit der Organisation interagieren, der sie dienen sollen. Anstatt sich ausschließlich auf die Modellleistung oder die Richtlinien-Compliance zu konzentrieren, müssen Unternehmen verstehen, ob das Verhalten eines Agenten mit den Geschäftsabsichten, den betrieblichen Erwartungen und den akzeptablen Risikotoleranzen übereinstimmt, wenn sich die Bedingungen ändern.
Wenn Unternehmen von isolierten KI-Bereitstellungen zu vernetzten Agentenökosystemen übergehen, wird die Transparenz über das Verhalten ebenso wichtig wie die über den Code. Governance bestimmt, wozu ein autonomes System berechtigt ist. Die Verhaltensanalyse hilft festzustellen, was der Agent tut, welche Geschäftsergebnisse er erzielt und ob diese Ergebnisse weiterhin mit den Zielen des Unternehmens übereinstimmen.
[related-resource]
Sichern Sie Ihre KI-Einführung ab
Praktische Leitlinien zum Absichern von LLM-Bereitstellungen, KI-Workflows und agentischen Systemen, darunter Kontrollmaßnahmen zum Risikomanagement.




















