Wichtigste Erkenntnisse
- Die KI-Sicherheit in Unternehmen geht über den Schutz von KI-Modellen hinaus und umfasst auch die Absicherung von KI-Agenten, Unternehmensdaten, Identitäten, APIs und Integrationen von Drittanbietern. Unternehmen benötigen einen Überblick darüber, wo KI eingesetzt wird, auf welche Daten sie zugreifen kann und wie sie sich verhält, um KI-Risiken effektiv zu bewältigen.
- Ein wirksames Sicherheitsframework für KI vereint Governance, Identitäts- und Zugriffsmanagement, Datenschutz, Laufzeitüberwachung und die Sicherheit der Software-Lieferkette. Keine einzelne Kontrollmaßnahme oder KI-Schutzvorkehrung reicht allein aus, um KI in Unternehmen zu schützen.
- KI-Einführung und KI-Sicherheit müssen sich gemeinsam weiterentwickeln. Die Einbettung von Sicherheitskontrollen über den gesamten KI-Lebenszyklus hinweg ermöglicht es Unternehmen, Cyberrisiken zu reduzieren, die regulatorische Compliance zu unterstützen und KI-Initiativen mit größerer Zuversicht auszuweiten.
Warum hat die KI-Sicherheit in Unternehmen jetzt Priorität?
Die Absicherung von Unternehmens-KI hat mittlerweile Priorität, da die Einführung schneller voranschreitet als Governance, Verantwortlichkeiten und technische Kontrollen. Generative KI-Tools, eingebettete KI-Funktionen und autonome Agenten können auf sensible Daten zugreifen, Entscheidungen treffen und sich mit externen Systemen verbinden – wodurch Risiken entstehen, die Sicherheit, Datenschutz, Compliance und den laufenden Betrieb betreffen. Für viele Unternehmen besteht die erste Herausforderung nicht darin, ob KI abgesichert werden sollte, sondern was die „Absicherung von KI“ in der Praxis eigentlich bedeutet. Geht es um den Schutz von Modellen? Um Daten-Governance? Um die Überwachung der Ergebnisse? Oder um die Steuerung, wie sich KI-Agenten nach ihrer Bereitstellung verhalten?
Während die Nachfrage nach der Einführung wächst, bleibt die Absicherung der KI-Nutzung in Unternehmen für viele noch ein abstraktes Konzept, und die Operationalisierung ihrer Nutzung geht weit über bloße Transparenz hinaus. Fachleute müssen außerdem berücksichtigen, wie KI im gesamten Unternehmen beschafft, entwickelt, bereitgestellt, genutzt und gesteuert wird.
Das Ziel für Sicherheitsteams: ein klares, lebenszyklusorientiertes Framework für KI-Sicherheit. Dieser Blogbeitrag zeigt die Vielfalt der KI-Anwendungsfälle auf, die bei der Entwicklung dieses Frameworks berücksichtigt werden sollten, und erläutert, wie sich dieses Gespräch für nichttechnische Zielgruppen gestalten lässt.
Was bedeutet es, KI im Unternehmen abzusichern?
Die Absicherung von KI bedeutet, Transparenz und Kontrolle darüber zu gewährleisten, wo KI eingesetzt wird, auf welche Daten sie zugreift, wie sich Modelle und Agenten verhalten und ob ihre Aktionen der geschäftlichen Zielsetzung entsprechen. Sie erstreckt sich über Anwendungen, Identitäten, Infrastruktur, Daten, Entwicklungs-Workflows und Drittanbieter hinweg, sodass die Verantwortung nicht allein bei einer Sicherheitsfunktion liegen kann.
Die Absicherung von KI wird oft als Erweiterung bestehender Sicherheitsdisziplinen dargestellt. In der Praxis kann diese Annahme zu Verwirrung führen.
Sicherheitsfunktionen basieren auf relativ stabilen Grenzen. Bei der Anwendungssicherheit stehen Code und Logik im Mittelpunkt. Cloud-Sicherheit regelt Infrastruktur und Identität. Datensicherheit schützt sensible Informationen im Ruhezustand und bei der Übertragung. Identitätssicherheit steuert, wer auf Systeme und Dienste zugreifen kann. Jede Funktion verfügt über eine klare Zuständigkeit, etablierte Werkzeuge und gut bekannte Fehlerquellen.
KI lässt sich keiner dieser Kategorien eindeutig zuordnen. Ein KI-System ist gleichzeitig:
- Eine Anwendung, die Logik ausführt
- Ein Datenverarbeiter, der sensible Informationen einliest und generiert
- Eine Entscheidungsebene, die Handlungen beeinflusst oder automatisiert
- Ein dynamisches System, das sein Verhalten im Laufe der Zeit ändert
Daher erstrecken sich die durch KI entstehenden Sicherheitsrisiken gleichzeitig über mehrere Bereiche hinweg. Eine einzelne KI-Interaktion kann innerhalb desselben Workflows Identitätsmissbrauch, die Offenlegung von Daten, den Missbrauch von Anwendungslogik und Risiken in der Lieferkette umfassen. Hier beginnen die traditionellen Grenzen zwischen Sicherheitsfunktionen zu verschwimmen.
So ist beispielsweise eine von einem autorisierten Nutzer übermittelte bösartige Eingabeaufforderung keine klassische Kompromittierung einer Identität, kann jedoch Datenlecks oder unbefugte Aktionen auslösen. Der Aufruf eines externen Dienstes durch einen KI-Agenten kann wie legitimes Anwendungsverhalten wirken, obwohl dabei Anforderungen an die Datenhoheit oder Compliance verletzt werden. Von KI generierter Code kann die üblichen Entwicklungsprüfungen bestehen und dennoch subtile Schwachstellen oder kompromittierte Abhängigkeiten einführen.
In keinem der Fälle ist ein einzelnes Sicherheitsteam allein für das Risiko „verantwortlich“.
Aus diesem Grund lässt sich die Sicherheit von KI nicht allein auf Modellsicherheit, Governance-Richtlinien oder Perimeterkontrollen reduzieren. Sie erfordert einen gemeinsamen Sicherheitsansatz, der Entwicklung, Betrieb, Datenverarbeitung und Benutzerinteraktion umfasst. Bei der Sicherheit von KI geht es nicht nur darum, zu verstehen, ob der Zugriff auf Systeme sicher erfolgt, sondern auch, ob diese Systeme so genutzt, trainiert und eingesetzt werden, dass sie mit den geschäftlichen Zielen und der Risikotoleranz im Einklang stehen.
Im Kern geht es bei der Sicherheit von KI darum, Klarheit in Umgebungen wiederherzustellen, in denen die Verantwortlichkeiten schnell unklar werden können. Es geht darum zu wissen, wo KI vorhanden ist, wie sie sich verhält, was sie tun darf und wie sich ihre Entscheidungen auf das gesamte Unternehmen auswirken. Ohne diese Klarheit wird KI zu einem Kraftmultiplikator sowohl für die Produktivität als auch für das Risiko.
Was sollte ein KI-Sicherheitsframework für Unternehmen abdecken?
Ein Sicherheitsframework für KI in Unternehmen sollte Missbrauch und emergentes Verhalten, die Laufzeitüberwachung, Entwicklung und Infrastruktur, Schatten-KI und Lieferketten von Drittanbietern sowie die organisatorische Bereitschaft berücksichtigen. Zusammen decken diese Bereiche ab, wie KI während ihres gesamten Lebenszyklus beschafft, entwickelt, bereitgestellt, abgerufen, überwacht und gesteuert wird.
Es gibt fünf zentrale Bereiche für die Absicherung von KI im Unternehmen:
- Schutz vor Missbrauch und unerwarteten KI-Verhaltensweisen
- Überwachung und Steuerung von KI im Betrieb
- Schutz der KI-Entwicklung und -Infrastruktur
- Sicherung der KI-Lieferkette
- Stärkung der Einsatzbereitschaft und Aufsicht
Gemeinsam bieten diese Kategorien einen strukturierten Bezugsrahmen, um zu verstehen, wie sich KI-Risiken äußern und worauf Sicherheitsteams ihre Anstrengungen konzentrieren sollten.
1. Schutz vor Missbrauch und neu auftretenden Verhaltensweisen von KI
Generative-KI-Systeme und Agenten können auf eine Weise manipuliert werden, die herkömmliche Kontrollen umgeht. Selbst wenn der Zugriff autorisiert ist, kann KI durch sorgfältig formulierte Prompts und Interaktionen missbraucht, zweckentfremdet oder beeinflusst werden.
Zu den wichtigsten Risiken zählen:
- Bösartige Prompt-Injection, die darauf ausgelegt ist, unerwünschte Handlungen zu erzwingen
- Unbefugte oder unbeabsichtigte Anwendungsfälle, die Schutzmaßnahmen umgehen
- Offenlegung sensibler Daten durch Prompt-Historien
- Halluzinierte oder böswillige Ausgaben, die das Verhalten von Menschen beeinflussen
Anders als herkömmliche Anwendungen können KI-Systeme schädliche Ergebnisse hervorbringen, ohne explizit kompromittiert worden zu sein. Die Absicherung dieser Ebene erfordert die Überwachung der Absicht, nicht nur des Zugriffs. Sicherheitsteams benötigen Einblick darin, wie KI-Systeme mit Eingaben versorgt werden, wie die Ergebnisse genutzt werden und ob die Nutzung mit den genehmigten Geschäftszwecken übereinstimmt.
2. Überwachung und Steuerung von KI im Betrieb
Nach ihrer Bereitstellung arbeiten KI-Agenten mit maschineller Geschwindigkeit und in maschinellem Umfang. Sie können Maßnahmen einleiten, Daten austauschen und mit anderen Systemen interagieren, ohne dass dabei nennenswerte menschliche Aufsicht erforderlich ist. Daher ist die Transparenz während der Laufzeit von entscheidender Bedeutung.
Zu den operativen KI-Risiken gehören:
- Agenten, die Berechtigungen auf unbeabsichtigte Weise nutzen
- Unkontrollierte ausgehende Verbindungen zu externen Diensten oder Agenten
- Verlust der forensischen Transparenz über kurzlebige KI-Komponenten
- Nicht konforme Datenübertragung über Rechtsraumgrenzen hinweg
Die Absicherung von KI im laufenden Betrieb erfordert die Echtzeitüberwachung des Agentenverhaltens, zentrale Kontrollpunkte wie KI-Gateways sowie die Möglichkeit, den Zustand des Agenten für Untersuchungen zu erfassen. Ohne diese Funktionen fehlt Sicherheitsteams möglicherweise der Einblick darin, wie sich KI-Systeme im laufenden Betrieb verhalten, insbesondere in Cloud-nativen oder regulierten Umgebungen.
3. Schutz der KI-Entwicklung und -Infrastruktur
Viele KI-Risiken entstehen lange vor der Bereitstellung. Entwicklungspipelines, Infrastrukturkonfigurationen und Architekturentscheidungen beeinflussen die Sicherheitslage von KI-Systemen.
Zu den häufigen Risiken zählen:
- Fehlkonfigurierte Berechtigungen und Schutzmechanismen
- Unsichere oder übermäßig komplexe Agentenarchitekturen
- Infrastructure-as-Code bringt unbemerkte Fehlkonfigurationen mit sich
- Schwachstellen in KI-generiertem Code und Abhängigkeiten
KI-generierter Code bringt eine neue Risikodimension mit sich, da halluzinierte Pakete oder unsichere Logik möglicherweise schwerer zu erkennen und zu debuggen sind als von Menschen geschriebener Code. Die Absicherung der KI-Entwicklung bedeutet, Sicherheitskontrollen frühzeitig anzuwenden, darunter statische Analysen, Architekturprüfungen und die kontinuierliche Überwachung der Konfiguration während des gesamten Entwicklungsprozesses.
4. Sicherung der KI-Lieferkette
KI-Lieferketten sind oft undurchsichtig. Modelle, Datensätze, Abhängigkeiten und Dienste können von Drittanbietern stammen, die unterschiedlich transparent sind und unterschiedlich belastbare Zusicherungen bieten.
Zu den wichtigsten Risiken in der Lieferkette zählen:
- Schatten-KI-Tools, die außerhalb genehmigter Kontrollmechanismen eingesetzt werden
- Externe KI-Agenten mit internem Zugriff
- Anbieter, die KI auf Unternehmensdaten anwenden, ohne dies offenzulegen
- Kompromittierte Modelle, Trainingsdaten oder Abhängigkeiten
Um die KI-Lieferkette zu sichern, muss ermittelt werden, wo KI zum Einsatz kommt, die Herkunft und Lizenzierung von Modellen und Daten überprüft werden und bewertet werden, wie Lieferanten Unternehmensdaten verarbeiten und schützen. Ohne diesen Überblick riskieren Unternehmen Datenabflüsse, regulatorische Risiken und eine nachgelagerte Kompromittierung durch vertrauenswürdige Integrationen.
5. Stärkung der Einsatzbereitschaft und Aufsicht
Selbst bei robusten technischen Kontrollmaßnahmen versagt die KI-Sicherheit ohne Governance, Tests und geschulte Teams. KI führt zu neuen Vorfallszenarien, auf deren Bewältigung viele Sicherheitsteams noch nicht vorbereitet sind.
Zu den Risiken bei der Aufsicht zählen:
- Mangel an aussagekräftiger Berichterstattung zu KI-Risiken
- Ungetestete KI-Systeme im Produktivbetrieb
- Nicht für KI-spezifische Bedrohungen geschulte Sicherheitsteams
Unternehmen benötigen KI-orientierte Berichterstattung, Red- und Purple-Team-Übungen, die KI-Systeme einbeziehen, sowie fortlaufende Schulungen, um ihre Einsatzbereitschaft zu stärken. Diese Fähigkeiten stellen sicher, dass KI-Risiken verstanden, getestet und kontinuierlich adressiert werden, anstatt erst bei einem Live-Vorfall zutage zu treten.
Ein neues Verständnis von KI-Sicherheit für die Unternehmensleitung
KI-Sicherheit ist nicht nur ein technisches Thema. Es geht um Vertrauen, Verantwortlichkeit und Resilienz. Vorstände wollen die Gewissheit, dass KI-gestützte Entscheidungen zuverlässig, nachvollziehbar und vor Manipulationen geschützt sind.
Wirksame Kommunikation mit der Führungsebene konzentriert sich auf:
- Vertrauen: Vertrauen in Datenintegrität, Modellverhalten und Ergebnisse
- Rechenschaftspflicht: klare Zuständigkeiten über Teams und Lieferanten hinweg
- Resilienz: die Fähigkeit, auch bei Angriffen oder unter regulatorischen Vorgaben den Betrieb aufrechtzuerhalten, Audits durchzuführen und sich anzupassen
Die Ausrichtung von Maßnahmen zur KI-Sicherheit an anerkannten Rahmenwerken wie ISO/IEC 42001 und dem NIST AI Risk Management Framework zeugt von Reife und bringt die KI-Sicherheit mit umfassenderen Governance-Zielen in Einklang.
Fazit: Die Absicherung von KI ist eine Herausforderung über den gesamten Lebenszyklus hinweg
Dieselben Eigenschaften, die KI so transformativ machen, erschweren auch ihre Absicherung. KI-Systeme verwischen traditionelle Grenzen zwischen Software, Nutzern und Entscheidungsfindung und vergrößern die Angriffsfläche auf subtile, aber bedeutsame Weise.
Um KI sicher zu machen, muss wieder Klarheit geschaffen werden. Es muss bekannt sein, wo KI zum Einsatz kommt, wie sie sich verhält, wer sie steuert und wie sie reguliert wird. Ein rahmenbasierter Ansatz ermöglicht es Unternehmen, mit KI innovativ zu sein und gleichzeitig Vertrauen, Verantwortlichkeit und Kontrolle zu wahren.
Der Weg zu sicherer KI ist noch nicht zu Ende, beginnt jedoch damit, die Risiken über den gesamten KI-Lebenszyklus hinweg zu verstehen und Sicherheitspraktiken zu etablieren, die sich gemeinsam mit der Technologie weiterentwickeln.
Darktrace / SECURE AI unterstützt diesen Lebenszyklusansatz, indem es unternehmensweite Transparenz, Verhaltensüberwachung und Echtzeitkontrolle vereint und Sicherheitsteams dabei hilft, riskante Aktivitäten zu erkennen und KI sicherer einzuführen.
[related-resource]
Laden Sie das vollständige Framework herunter
Erfahren Sie, wie Sie KI-gestützte Risiken erkennen, um Governance-Frameworks und Kontrollen in Ihrem Unternehmen zu etablieren.
.avif)





















