Secure What AI Can Do

La IA segura (Secure AI) es la práctica de proteger el modo en que una organización crea, implementa y utiliza la inteligencia artificial —incluidas la IA generativa, los agentes de IA y los pipelines de desarrollo de IA— frente a riesgos como la exposición de datos, el uso indebido y el acceso no autorizado. Normalmente, incluye visibilidad sobre el uso de la IA, supervisión del comportamiento y controles sobre a qué pueden acceder y qué pueden hacer los sistemas de IA. Darktrace / SECURE AI es un producto de esta categoría. Ofrece a los equipos de seguridad una visión unificada de la actividad de la IA en toda la empresa y utiliza IA adaptativa para aprender cómo es el uso normal de la IA en esa organización específica, de modo que pueda resaltar la actividad que se desvíe de dicho patrón.

Las empresas protegen el uso de la IA generativa mediante la supervisión de prompts, sesiones y resultados para detectar infracciones de directivas, revelación de datos y usos indebidos, así como mediante la aplicación de controles de acceso a las herramientas de IA generativa que los empleados pueden utilizar. La visibilidad sobre el uso real es el primer requisito, ya que la adopción de la IA generativa a menudo supera a las directivas formales. La capacidad de análisis de prompts de IA (AI Prompt Analysis) de Darktrace contribuye a ello al analizar los prompts y las sesiones en contexto —en lugar de como texto aislado— para identificar la intención y resaltar la actividad que no coincide con el uso previsto para un usuario o sistema determinado.

La IA en la sombra (herramientas, agentes o infraestructura de IA utilizados sin la aprobación o supervisión del Departamento de TI) suele detectarse escaneando continuamente la actividad de las aplicaciones y de la red en busca de patrones de uso de IA, en lugar de depender únicamente de una lista de herramientas aprobadas. Así se pone de manifiesto un uso de la IA que los inventarios formales pasan por alto. La funcionalidad de gestión de la IA en la sombra (Shadow AI Management) de Darktrace aplica este método a todo el entorno de una empresa, identificando la actividad de IA no autorizada, quién la utiliza y a qué tiene acceso.

Para garantizar la seguridad de los agentes de IA es necesario supervisar sus identidades, permisos y acciones —y no solo las instrucciones que los activan—, ya que los agentes pueden realizar acciones autónomas en los sistemas de la empresa utilizando los permisos de acceso que ya se les han concedido. Esto hace que la concesión excesiva de permisos y el acceso no deseado sean puntos de fallo habituales. La capacidad de identidades y acciones de los agentes de IA (AI Agent Identities and Actions ) de Darktrace ofrece esta supervisión centrada en la identidad, lo que ayuda a los equipos a detectar agentes con permisos excesivos o acciones que no se ajustan al uso previsto.

Los controles de seguridad basados en IA reducen las fugas de datos al analizar el contexto de las solicitudes, los resultados y las acciones de los agentes para detectar la exposición de datos sensibles, en lugar de basarse únicamente en la búsqueda estática de palabras clave o patrones, que pasa por alto los riesgos dependientes del contexto. El análisis de prompts de IA de Darktrace evalúa los comandos y las sesiones en su contexto para señalar aquellas interacciones en las que los datos confidenciales corren el riesgo de quedar expuestos a través de una herramienta o un agente de IA generativa.

La supervisión segura de prompts analiza lo que solicitan, el contexto de la sesión en la que se inscriben y las acciones que desencadenan, ya que un solo prompt puede afectar a varios sistemas y, a menudo, el riesgo no se aprecia solo en el texto de dicho prompt. La capacidad de análisis de prompts de IA de Darktrace se basa en lo siguiente: evalúa los prompts como un punto de control y rastrea cómo se corresponden con el comportamiento resultante de los sistemas o agentes para identificar desviaciones del uso previsto.

La gobernanza de la IA mejora cuando las organizaciones supervisan la IA de forma continua a lo largo de todo su ciclo de vida (desarrollo, implantación y uso diario) en lugar de evaluar los riesgos únicamente en el momento de su lanzamiento. Así se de detectan configuraciones incorrectas y problemas de permisos introducidos durante el desarrollo, antes de que lleguen a producción. La capacidad de gestión de riesgos en el desarrollo de agentes de IA de Darktrace evalúa el riesgo de implementación en plataformas low-code y high-code, detectando configuraciones incorrectas y actividad de desarrollo anómala como parte de una gobernanza constante.