Secure What AI Can Do

Secure AI ist die Praxis, die Erstellung, Bereitstellung und Nutzung künstlicher Intelligenz durch ein Unternehmen – einschließlich generativer KI, KI-Agenten und KI-Entwicklungspipelines – vor Risiken wie Datenoffenlegung, Missbrauch und unbefugtem Zugriff zu schützen. Dazu gehören typischerweise Transparenz über die KI-Nutzung, Verhaltensüberwachung sowie Kontrollen darüber, worauf KI-Systeme zugreifen und was sie ausführen können. Darktrace / SECURE AI ist ein Produkt in dieser Kategorie. Es bietet Sicherheitsteams einen einheitlichen Überblick über KI-Aktivitäten im gesamten Unternehmen und nutzt adaptive KI, um zu lernen, wie die normale KI-Nutzung in dieser spezifischen Organisation aussieht, sodass davon abweichende Aktivitäten gemeldet werden können.

Unternehmen sichern die Nutzung generativer KI ab, indem sie Prompts, Sitzungen und Ausgaben auf Richtlinienverstöße, Datenoffenlegung und Missbrauch überwachen und Zugriffskontrollen dafür anwenden, welche GenAI-Tools Mitarbeiter nutzen können. Ein Einblick in die tatsächliche Nutzung ist die wichtigste Voraussetzung, da die Einführung von GenAI oft schneller voranschreitet als die Festlegung formeller Richtlinien. Die KI-Prompt-Analysefunktion von Darktrace unterstützt dies, indem sie Prompts und Sitzungen im Kontext analysiert – anstatt als isolierten Text –, um die Absicht zu erkennen und Aktivitäten zu kennzeichnen, die nicht der erwarteten Nutzung für einen bestimmten Benutzer oder ein bestimmtes System entsprechen.

Schatten-KI – KI-Tools, -Agenten oder -Infrastruktur, die ohne Genehmigung oder Überwachung durch die IT genutzt werden – wird in der Regel erkannt, indem Netzwerk- und Anwendungsaktivitäten kontinuierlich auf KI-Nutzungsmuster überprüft werden, anstatt sich ausschließlich auf eine Liste genehmigter Tools zu stützen. Dadurch wird KI-Nutzung erkannt, die in formalen Inventaren nicht erfasst wird. Die Funktion „Shadow AI Management“ von Darktrace wendet diesen Ansatz auf die gesamte Unternehmensumgebung an und identifiziert nicht genehmigte KI-Aktivitäten, die Personen, die sie nutzen, sowie die Ressourcen, auf die sie zugreifen können.

Die Absicherung von KI-Agenten erfordert die Überwachung ihrer Identitäten, Berechtigungen und Aktionen – nicht nur der Prompts, die sie auslösen –, da Agenten mithilfe der ihnen bereits gewährten Zugriffsrechte autonome Aktionen in Geschäftssystemen durchführen können. Dadurch sind übermäßige Berechtigungen und unbeabsichtigte Zugriffe häufige Schwachstellen. Die Funktion „KI-Agentenidentitäten und -aktionen“ von Darktrace bietet diese identitätsorientierte Überwachung und hilft Teams, Agenten mit übermäßigen Berechtigungen oder Aktionen zu erkennen, die nicht dem vorgesehenen Einsatz entsprechen.

KI-Sicherheitskontrollen reduzieren Datenlecks, indem sie den Kontext von Prompts, Ausgaben und Agentenaktionen auf die Offenlegung sensibler Daten analysieren, anstatt sich nur auf statische Schlüsselwort- oder Musterabgleiche zu verlassen, die kontextabhängige Risiken übersehen. Die KI-Prompt-Analyse von Darktrace bewertet Prompts und Sitzungen im Kontext, um Interaktionen zu kennzeichnen, bei denen sensible Daten durch ein GenAI-Tool oder einen Agenten offengelegt werden könnten.

Bei der sicheren Prompt-Überwachung werden die Anforderungen eines Prompts, der umgebende Sitzungskontext sowie die dadurch ausgelösten Folgeaktionen analysiert – denn ein einzelner Prompt kann mehrere Systeme betreffen, und Risiken lassen sich oft nicht allein anhand des Prompt-Textes erkennen. Die Funktion zur KI-Prompt-Analyse von Darktrace basiert darauf: Sie bewertet Prompts als Kontrollpunkt und verfolgt, wie diese zu dem daraus resultierenden System- oder Agentenverhalten führen, um Abweichungen von der erwarteten Nutzung zu erkennen.

Die KI-Governance verbessert sich, wenn Unternehmen KI kontinuierlich über ihren gesamten Lebenszyklus hinweg überwachen –Entwicklung, Bereitstellung und tägliche Nutzung –, anstatt Risiken nur bei der Einführung zu bewerten. Dadurch werden Fehlkonfigurationen und Berechtigungsprobleme, die während der Entwicklung entstanden sind, erkannt, bevor sie in die Produktion gelangen. Die Funktion von Darktrace für das Risikomanagement bei der Entwicklung von KI-Agenten bewertet Bereitstellungsrisiken über Low-Code- und High-Code-Plattformen hinweg und deckt Fehlkonfigurationen sowie anomale Entwicklungsaktivitäten im Rahmen der fortlaufenden Governance auf.