Cómo cambia la IA generativa el comportamiento de los usuarios internos
Los sistemas de IA, en especial las plataformas generativas como los chatbots, están diseñados para interactuar con las personas. Ofrecen respuestas extraordinariamente parecidas a las de una persona, capaces tanto de confirmar como de exagerar ideas e ideologías, lo que plantea una atractiva colaboración cognitiva entre máquina y ser humano. Si se considera en relación con la amenaza que representan los usuarios internos, la diversidad de interacciones que ofrece la IA puede acelerar notablemente un incidente interno y facilitar nuevas plataformas de ataque para perpetrar actos maliciosos desde dentro.
Este artículo analiza cómo abordar este nuevo paradigma del riesgo interno y expone los principios clave de gobernanza que deben tener en cuenta los CISO, los CSO y los responsables de los SOC (Centros de Operaciones de Seguridad) para gestionar las amenazas inherentes al riesgo interno impulsado por IA.
¿Qué es una amenaza interna?
Existen muchas definiciones, tanto del sector como de las administraciones públicas, de lo que constituye una amenaza interna. En esencia, se refiere al daño que se produce cuando se abusa del acceso de confianza a información confidencial, activos o personal con intención maliciosa o mediante actividades negligentes.
Las metodologías tradicionales para gestionar las amenazas internas se han basado en dos conceptos principales: la garantía sobre las personas con acceso a activos confidenciales y un sistema de defensa por capas para supervisar cualquier vulneración. A menudo, ambos se aplican tanto antes como después de conceder el acceso. En la fase previa al acceso, la garantía se obtiene a través de comprobaciones de seguridad o de selección de personal. Una vez concedido el acceso, controles como el acceso privilegiado y la arquitectura de confianza cero proporcionan capas defensivas.
¿Cómo cambia la IA el paradigma de la amenaza interna?
Aunque estos dos conceptos siguen siendo fundamentales para la gestión de las amenazas internas, la introducción de la IA aporta tres nuevos aspectos clave que redefinirán el paradigma.
La IA puede actuar como un amplificador cognitivo, que influye en las motivaciones capaces de conducir a actividades relacionadas con amenazas internas. Este aspecto resulta especialmente importante en el caso del usuario interno que actúa de forma deliberada: alguien que se plantea causar daño desde dentro. Ahora, estas personas pueden recurrir a los sistemas de IA para que validen sus ideas, les aporten información única y, sobre todo, les animen a actuar. Como los sistemas generativos están programados para interactuar con los usuarios y darles la razón, un sistema de IA útil puede convertirse en una peligrosa caja de resonancia para quienes albergan intenciones dañinas desde dentro.
La IA puede actuar como un facilitador operativo. Ahora, la IA puede desarrollar y ampliar las herramientas necesarias para perpetrar actos maliciosos desde dentro. Las nuevas plataformas de ingeniería social, como vishing y deepfakes, dan a los adversarios una nueva ventaja para causar daños desde dentro. La IA puede generar soluciones y plataformas operativas a una velocidad cada vez mayor y, a menudo, sin que se necesiten conocimientos humanos especializados para ejecutar las actividades. A medida que se eleva el listón de las capacidades avanzadas de IA, el que se necesita para utilizar esas plataformas ha bajado considerablemente.
La IA puede actuar como una entidad interna semiautónoma, especialmente cuando se conceden amplios niveles de autonomía a sistemas de IA agéntica o a identidades no humanas, lo que crea un vector de actos internos con poca o ninguna supervisión o control humanos. A medida que los agentes de IA asumen muchas de las capas de orquestación antes reservadas a las personas, lo hacen sin algunas de las limitaciones de permisos que suelen aplicarse a las cuentas de servicio. Con amplios niveles de acceso y autoridad, estas identidades no humanas (NHI) pueden convertirse ellas mismas en objetivo de intenciones maliciosas internas. Por lo general, se trata del creciente riesgo de inyección de prompts, envenenamiento u otros tipos de sesgo integrado. En muchos sentidos, estos riesgos reflejan los de ingeniería social a los que tradicionalmente se han enfrentado las personas. Incluso sin intentos deliberados o maliciosos de corromperlos, los sistemas y agentes de IA pueden llevar a cabo acciones no deseadas, lo que crea vulnerabilidades y oportunidades para causar daños desde dentro.
Cómo defenderse de las amenazas internas impulsadas por IA
El aumento de la superficie de ataque que crea o facilita la IA preocupa cada vez más. En la propia investigación de Darktrace sobre ciberseguridad relacionada con la IA, los riesgos que introduce y pone de manifiesto la proliferación de herramientas y sistemas de IA siguen superando las políticas tradicionales y las salvaguardas de gobernanza. El 22 % de los encuestados citó el «uso indebido interno facilitado por la IA generativa» como una de las principales amenazas que le preocupan. Y, sin embargo, en la misma encuesta, solo el 37 % del total de los encuestados cuenta con políticas formales para gestionar el uso seguro y responsable de la IA. Estos datos ponen de manifiesto una brecha significativa y preocupante entre los riesgos y amenazas conocidos, por un lado, y la capacidad (y los recursos) para mitigarlos, por otro.
¿Qué pueden hacer los CISO y los responsables de los SOC para proteger a su organización frente a las amenazas internas relacionadas con la IA?
Dada la rápida adaptación, adopción y expansión de los sistemas de IA, implementar los niveles adecuados de gobernanza de la IA es innegociable. Lograr el equilibrio adecuado entre las mejoras de productividad basadas en IA y el cumplimiento riguroso de la normativa generará beneficios a largo plazo. Será fundamental adaptar las estructuras tradicionales de gestión de amenazas internas para tener en cuenta los nuevos riesgos que plantea el uso de la IA. Asimismo, será esencial comprender el valor de los sistemas de IA que refuerzan su resiliencia en materia de ciberseguridad en lugar de ponerla en peligro.
Para quienes son responsables de la seguridad y protección de los activos y los datos de su empresa, el cambio de paradigma que ha provocado la IA en las amenazas internas puede resultar abrumador. Implantar una gobernanza de IA sólida y adecuada puede resultar difícil debido al volumen y la complejidad de los sistemas que es necesario supervisar. Además de las medidas tradicionales para mitigar las amenazas internas, como la supervisión de usuarios, los controles de acceso y la gestión activa, la velocidad y la autonomía de algunos sistemas de IA requieren controles diferentes, además de capas adicionales de control.
Cómo ayuda Darktrace a proteger frente a las amenazas internas impulsadas por IA
Darktrace ha demostrado que, mediante plataformas como nuestro propio Cyber AI Analyst y nuestro producto más reciente, Darktrace / SECURE AI, los sistemas de IA pueden aprender por sí mismos, autoevaluarse y ser resilientes ante comportamientos impredecibles de la IA, al tiempo que ofrecen resultados notables, lo que complementa las estrategias tradicionales de los SOC y los CISO para combatir la amenaza interna.
Con / SECURE AI, algunos de los riesgos efímeros derivados del uso de la IA pueden gestionarse con mayor facilidad. En concreto, permite supervisar los prompts conversacionales (que pueden influir en los resultados de la IA y revelar intentos de manipularla, lo que ayuda a detectar de forma temprana indicios de amenaza interna), observar en tiempo real el uso y el desarrollo de la IA (lo que pone de relieve posibles puntos ciegos entre el desarrollo y la implementación), detectar la IA en la sombra (para descubrir herramientas y agentes no aprobados en toda su infraestructura de TI) y saber qué identidades, humanas o no humanas, tienen permisos de acceso. Todas estas funcionalidades se basan en los sólidos cimientos de las estructuras existentes para gestionar las amenazas internas.
Cómo adoptar un enfoque de defensa en profundidad frente a las amenazas internas impulsadas por la IA
Incluso sin estas herramientas, hay cuatro áreas clave en las que unos controles sólidos y más eficaces pueden mitigar la amenaza interna impulsada por la IA. Cada una de las siguientes áreas ofrece un enfoque de defensa en profundidad: combina el reconocimiento y la comprensión de un vector de amenaza interna con controles que pueden reforzar sus defensas.
Controles de identidad y acceso
Comprender claramente qué entidades pueden acceder a su información confidencial, sus activos y su personal es el primer paso para entender el entorno en el que pueden producirse daños internos. La IA ha demostrado que no solo los operadores de carne y hueso pueden representar una amenaza interna; las identidades no humanas (como los sistemas de IA agéntica) también pueden actuar con autonomía y libertad si cuentan con las credenciales adecuadas. Si trata las identidades no humanas igual que a los operadores humanos (y no como herramientas útiles basadas en máquinas) y añade controles similares de mitigación y gestión, puede proteger tanto su empresa como las identidades asociadas a ella frente a las amenazas internas.
Visibilidad y detección de la IA en la sombra
Configurar cuidadosamente los sistemas de IA y mantener la supervisión interna puede ayudar a identificar el uso de la «IA en la sombra», es decir, la utilización de herramientas de IA no autorizadas en el lugar de trabajo. La adopción de la IA en la sombra podría deberse a una preferencia deliberada o a «tomar atajos», es decir, a que las personas utilizan sistemas y modelos que conocen, aunque no estén autorizados. Además de algunos riesgos de rendimiento inherentes al uso de la IA en la sombra (como la filtración de datos y las acciones no deseadas), también podría ser un peligroso precursor de daños causados desde dentro (ya sea por intentos deliberados de eludir la supervisión habitual o por la creación de vulnerabilidades al utilizar herramientas sin parches o no acreditadas).
Medidas de protección para prompts y salidas
La capacidad de introducir medidas de protección para los sistemas de IA aporta una especie de capa tradicional de «protección perimetral» a la arquitectura de defensa de la IA, ya que permite comprobar los prompts y los resultados frente a vectores de amenaza conocidos o metodologías de amenaza interna. Por sí solas, estas medidas de protección tradicionales ofrecen garantías limitadas. No obstante, si se combinan con la detección de amenazas centrada en el comportamiento y con un sistema de aplicación que disuada tanto las actividades internas maliciosas como las accidentales, ofrecerían una contención considerable mediante la defensa en profundidad.
Registro forense y preparación para la respuesta ante incidentes
La detección, la captura de datos, el análisis forense y la investigación son elementos inherentes a cualquier buena estrategia de mitigación de amenazas internas. Para comprender plenamente el alcance de cualquier actividad interna sospechosa (por ejemplo, determinar si fue deliberada, dirigida o si es probable que vuelva a producirse), este abundante caudal de análisis podría resultar inestimable. A medida que la actividad empresarial se vuelve cada vez más efímera —con activos protegidos en contenedores remotos, información procesada mediante arquitecturas temporales o basadas en la nube y nodos de acceso distribuidos más allá de la visibilidad inmediata de los equipos de seguridad internos—, el desarrollo de la gobernanza de la IA mediante la contención, la detección y la aplicación de medidas cobrará aún más importancia.
La aplicación de estos controles puede ofrecer visibilidad y supervisión sobre algunos de los riesgos que suelen mencionarse en relación con la gestión de la IA. Con el análisis de datos adecuado y una supervisión humana apropiada para las acciones de alto riesgo, puede poner de manifiesto las principales preocupaciones expresadas en torno a un nuevo paradigma de amenazas internas impulsadas por la IA:
- Garantizar que la supervisión periódica ponga de manifiesto los sistemas de IA configurados deliberadamente de forma incorrecta.
- Destacar los cambios en la actividad basada en sistemas que podrían indicar acciones internas perjudiciales, ya sean maliciosas o accidentales.
- Promover un proceso seguro desde el diseño que desincentive y disuada las ambiciones relacionadas con amenazas internas.
- Garantizar que el plano de control del acceso basado en identidad abarque a las personas, las identidades no humanas (NHI) y los modelos de IA, y:
- Ofrecer estrategias de contención positivas que ayudarán a gestionar el alcance del control de la IA y a minimizar las actividades no deseadas.
Por qué siguen siendo las amenazas internas un reto humano
En su origen, e independientemente de cómo se haya configurado, la IA sigue siendo una herramienta algorítmica: algo diseñado para automatizar, procesar y gestionar funciones computacionales a la velocidad de las máquinas y aumentar la productividad. Incluso con las mejores defensas de ciberseguridad implementadas, el éxito de un programa de gestión de amenazas internas seguirá dependiendo de la capacidad de los operadores humanos para identificar, clasificar y gestionar la superficie de ataque de las amenazas internas.
Las políticas de gobernanza de la IA, los puntos de interrupción con intervención humana y las funciones de supervisión automatizada no protegerán frente a los daños causados desde dentro a menos que exista la voluntad de gestionar este riesgo de forma proactiva, apoyada en una sólida cultura que sepa prevenir los abusos de confianza y de responsabilidad.
[related-resource]
Comprenda cómo proteger las herramientas de IA
Descubra cómo identificar riesgos derivados de la IA para establecer marcos de gobernanza y controles que protejan la innovación




















