Por qué está surgiendo la IA en la sombra
Imagine que es un empleado bajo presión, con plazos que se acumulan y tareas repetitivas que no dejan de crecer día a día. Encuentra en internet una herramienta gratuita de IA que promete automatizar el trabajo en cuestión de segundos; no se requiere ninguna aprobación. Parece una victoria fácil: pegar algunos datos, redactar un prompt rápido y avanzar con mayor rapidez.
Pero en ese momento, algo cambió.
Se introduce información confidencial de clientes en una herramienta que su organización no supervisa, no gestiona ni puede ver y, de repente, esos datos ya no están donde deberían y nadie sabe adónde han ido.
Esta es la realidad de la IA en la sombra: los empleados utilizan herramientas de IA no autorizadas para avanzar más rápido, mientras que, sin querer, generan riesgos que quedan completamente fuera del alcance de la visibilidad y el control.
No se trata de un caso aislado; investigaciones en varias empresas indican que casi la mitad de los empleados informan de usar herramientas de IA no autorizadas, priorizando a menudo la rapidez y la productividad sobre la seguridad. Además, el 51% de los empleados informa haber conectado herramientas de IA a sistemas o aplicaciones de trabajo sin aprobación de TI, lo que genera un riesgo operativo significativo donde el coste medio de los incidentes de seguridad en organizaciones con un alto nivel de uso de IA en la sombra puede alcanzar los 670.000 dólares.
Aunque la IA en la sombra suele ser una de las principales preocupaciones de los profesionales de seguridad, es solo uno de los factores que explican cómo el uso de la IA puede aumentar el riesgo. Comprender y gestionar el uso de la IA en la sombra debe considerarse parte de una estrategia de gestión de riesgos más amplia e integral, cuyo objetivo es proteger los sistemas de IA, incluidas las identidades humanas y de agentes, las interacciones, las colaboraciones entre personas e IA y los comportamientos que se dan en toda la empresa digital, desde la visibilidad y la gobernanza hasta la detección, la respuesta y la recuperación.
Una gestión eficaz del riesgo exige una estrategia en capas e interdisciplinaria. Requiere abordar cuestiones de gobernanza y visibilidad; identidad, acceso y control de agentes, seguridad y privacidad de los datos, MLOps / LLMOps seguros, seguridad en tiempo de ejecución, detección basada en el comportamiento, Autonomous Response y recuperación.
Este blog analiza un caso de uso específico de gobernanza y visibilidad relacionado con la IA en la sombra y revela los desafíos que plantea, así como las estrategias defensivas que los equipos de seguridad pueden adoptar.
Por qué es difícil detectar la IA en la sombra
En lo que respecta a la IA, lo que las organizaciones pueden ver con facilidad no siempre refleja el alcance total de la actividad de IA que se produce en las herramientas, aplicaciones y flujos de trabajo utilizados en toda la empresa. Como consecuencia, las organizaciones que utilizan métodos tradicionales basados en reglas para señalar actividades inusuales pueden tener dificultades para distinguir el uso no autorizado de la IA del comportamiento operativo legítimo, sobre todo a medida que las aplicaciones SaaS, las API y las capas de orquestación integran cada vez más la IA en los flujos de trabajo empresariales habituales. Identificar amenazas a partir de información previamente observada o depender de listas de elementos permitidos y bloqueados difíciles de mantener no proporciona una estrategia lo suficientemente dinámica para gestionar el riesgo. Asimismo, muchas organizaciones se centran en identificar la IA en la sombra en su infraestructura gobernada, como gateways, endpoints o SASE, lo cual es fundamental. Sin embargo, las organizaciones necesitan visibilidad y detección de la IA en la sombra en toda la infraestructura de red, desde entornos locales, híbridos y centros de datos hasta infraestructuras en la nube que tal vez no dispongan de visibilidad mediante agentes de endpoint. Esto revela el uso del MCP, los flujos de datos y los agentes autónomos en estos dominios.
Por ejemplo, los empleados interactúan cada día con asistentes de IA a través de plataformas SaaS autorizadas. Sin embargo, las extensiones del navegador y otros tipos de complementos pueden dirigir a servicios de IA integrados las instrucciones que incluyen datos empresariales, de formas que el equipo de seguridad no puede ver. Los flujos de trabajo basados en IA pueden invocar varias API, capas de orquestación y servicios en la nube en segundo plano, lo que dificulta que las herramientas de seguridad tradicionales determinen dónde se procesan, almacenan o retransmiten los datos. Como gran parte de esta actividad se produce en sesiones de navegador de confianza y tráfico SaaS cifrado, la supervisión de redes convencional, DLP y los controles de listas de aplicaciones permitidas suelen carecer del contexto necesario para identificar o gestionar estas interacciones con precisión
Identificar las herramientas de IA presentes en el entorno es una parte de la ecuación. El verdadero desafío está en comprender los comportamientos relacionados con su uso. Una aplicación de IA no es arriesgada por naturaleza, pero sí puede serlo la forma en que los usuarios u otros activos interactúan con ella. La exposición de datos confidenciales, los patrones de acceso anómalos y el uso indebido de flujos de trabajo asistidos por IA suelen parecer legítimos de forma aislada y solo se hacen visibles mediante el análisis del comportamiento en el conjunto más amplio del entorno.
Qué revela y qué no revela la visibilidad de la IA en la sombra
La visibilidad integral de la IA en la sombra permite a las organizaciones responder a varias preguntas importantes:
- ¿Qué tipos de IA estamos utilizando? ¿Qué plataformas de IA, agentes, clientes/servidores MCP y servicios están activos en toda la empresa?
- ¿Quién utiliza los servicios de IA? ¿Qué usuarios, unidades de negocio o sistemas interactúan con esos servicios de IA?
- ¿Están seguros nuestros datos? ¿Se están exponiendo datos sensibles o regulados a través de prompts, flujos de trabajo o integraciones?
- ¿Los sistemas de IA se comportan como se espera? ¿Los sistemas de IA se comportan de forma anómala o funcionan al margen de los procesos de gobernanza aprobados?
- ¿Están nuestros sistemas de IA bajo ataque? ¿Está intentando un atacante manipular los prompts, influir en el comportamiento de los agentes o aprovecharse de los flujos de trabajo basados en IA?
Responder a estas preguntas es fundamental para iniciativas más amplias de gobernanza de la IA. Sin embargo, se limita a ayudar a los equipos a comprender las interacciones iniciales y no ofrece información sobre las dependencias y los resultados, aspectos fundamentales para proteger la IA en toda una empresa.
Una visibilidad más profunda, que incluya la capacidad de comprender las dependencias y los resultados, no siempre está disponible en los productos especializados en seguridad de la IA. Responder a las preguntas siguientes requiere comprender el comportamiento en tiempo de ejecución y los resultados operativos:
- ¿Qué acciones desencadenó la interacción con la IA?
- ¿A qué sistemas, aplicaciones o datos accedió? ¿La IA operó más allá de los permisos o del ámbito previstos?
- ¿Puede una interacción de bajo riesgo dar lugar a resultados de alto riesgo?
- ¿Cuál es la comprensión del riesgo y del contexto de una actividad anómala para ayudar a priorizar el análisis y las acciones de Autonomous Response?
La distinción entre estos dos conjuntos de preguntas ofrece dos capas diferentes de seguridad de la IA. El primer conjunto de preguntas se centra en el descubrimiento y la visibilidad de la interacción. El segundo conjunto se centra en proporcionar visibilidad que incluya el contexto y los resultados esenciales para gestionar los riesgos derivados asociados a actividades posteriores ofuscadas.
En conjunto, estas capas ayudan a las organizaciones a ir más allá de limitarse a identificar el uso de la IA y a comprender cómo se comporta operativamente en toda la empresa.
Cómo están abordando las organizaciones la IA en la sombra
La mayoría de las organizaciones siguen abordando la IA en la sombra como un problema de control de aplicaciones y se basan en políticas, restricciones del navegador y listas de permitidos y bloqueados. Sin embargo, la adopción de la IA evoluciona más rápido de lo que la mayoría de los procesos de gobernanza pueden seguir de forma realista. Los nuevos asistentes, complementos y funciones de IA integradas aparecen continuamente, lo que genera presión para impulsar la productividad empresarial y, al mismo tiempo, contener los riesgos.
Los procesos de gobernanza existentes se diseñaron para un ciclo de adopción de SaaS más tradicional, en el que las nuevas aplicaciones podían revisarse, aprobarse y supervisarse durante periodos más largos. La adopción de la IA funciona de otra manera. Pueden surgir de la noche a la mañana nuevas capacidades en plataformas existentes que los empleados ya utilizan, lo que dificulta que los equipos de seguridad y gobernanza mantengan una visión precisa de la exposición de la empresa a la IA. Esto significa que muchas organizaciones soportan una carga operativa considerable, especialmente en entornos grandes donde el uso de la IA está descentralizado entre equipos, departamentos y servicios de terceros.
¿Por dónde deberían empezar las organizaciones para proteger sus sistemas de IA?
La identificación de la IA en la sombra sigue siendo un componente crítico y continuo para los comités de riesgos y gobernanza de la IA, así como para las organizaciones de seguridad. A medida que las organizaciones buscan certificaciones de IA como la norma ISO 42001 sobre sistemas de gestión de IA, es crucial tener visibilidad de toda la adopción de la IA, desde el uso empresarial hasta la innovación y el desarrollo personalizados. La identificación de la IA en la sombra proporciona a las organizaciones la visibilidad necesaria para decidir si conviene incorporar una herramienta de IA a entornos sujetos a gobernanza para reducir los riesgos de pérdida de datos (DLP), o si conviene establecer y aplicar políticas para restringir su uso.
A medida que las organizaciones innovan y adoptan rápidamente la IA, asumen cada vez más riesgos. Las organizaciones necesitan contar con una estrategia para mitigar el riesgo potencial, especialmente ante la adopción por parte de terceros. La visibilidad, la monitorización, la aplicación de la gobernanza, la detección basada en el comportamiento de sistemas no deterministas y la investigación y contención autónomas son fundamentales para mitigar los riesgos que plantean los sistemas de IA.
Cómo protege Darktrace la IA y la IA en la sombra
Los atacantes utilizan la IA para actuar más rápido, ampliar la escala de sus tácticas y hacer que las amenazas sean más adaptables y convincentes. En el ámbito interno, las organizaciones se enfrentan a nuevas formas de riesgo generadas por la IA generativa, los agentes autónomos, la IA en la sombra y unos entornos digitales cada vez más complejos.
Darktrace ayuda a las organizaciones a proteger tanto a las personas como a la IA en un mundo en el que la IA ocupa ahora un lugar central en la forma de hacer negocios. Darktrace / SECURE AI ayuda a las organizaciones a descubrir y controlar la IA en la sombra al poner de manifiesto la actividad de IA no autorizada o inesperada allí donde aparece —incluidas las detecciones de MCP—, distinguir entre el uso indebido de herramientas legítimas y los servicios no aprobados, y aplicar políticas para contener la exposición de datos mientras orienta a los usuarios hacia opciones autorizadas.
Manténgase al día sobre la seguridad de la IA
Inscríbase en el Secure AI Readiness Program aquí: Esto le ofrece acceso exclusivo a las últimas noticias sobre las amenazas más recientes de IA, actualizaciones sobre los enfoques emergentes que están dando forma a la seguridad de la IA y análisis de las últimas innovaciones, incluido el trabajo continuo de Darktrace en este ámbito.
¿Está preparado para hablar con un experto de Darktrace sobre cómo proteger la IA? Regístrese aquí para recibir orientación práctica sobre los riesgos de la IA que más importan a su empresa, además de claridad sobre dónde centrarse primero en gobernanza, visibilidad, reducción de riesgos y preparación a largo plazo.







.avif)



.avif)
.png)




%20(1).png)
.png)
.png)



















